User-agent: * 
Crawl-delay: 10 # задает таймут в 2 секунды
#Visit-time: 2330-0230 # загужать станицы только в помежуток с 00.30 ута до 02:30 по гринвичу.
# инструкции дл¤ робота Jakarta
User-agent: Jakarta Commons-HttpClient/2.0xxx 
Disallow: /

User-agent: Jakarta Commons-HttpClient/3.0-rcx 
Disallow: /

User-agent: dotbot 
Disallow: /

User-Agent: *
Disallow: /add/
Disallow: /admin/
Disallow: /consultants/ 
Disallow: /css/
Disallow: /files/documents/
Disallow: /images/
Disallow: /inc/
Disallow: /KatalogLambre/
Disallow: /left_bar/
Disallow: /member/
Disallow: /varuosad/ 
Disallow: /stat/
Disallow: /demo1/
Disallow: /lambre_admin/
Disallow: /LambreUser/
Disallow: /pages/


#proxy.asianet.co.th
#tirta-drenthe.com
#78.39.204.114
#cpe-24-168-155-111.nj.res.rr.com
#catv77018.tac-net.ne.jp
#Jakarta Commons-HttpClient/2.0xxx 
#Jakarta Commons-HttpClient/3.0-rcx
#89.248.99.82