User-agent: * 
Crawl-delay: 10  # задает таймут в 2 секунды
Visit-time: 0030-0230 # загружать страницы только в промежуток с 00.30 утра до 02:30 по Гринвичу.
# Инструкции для робота Jakarta
User-agent: Jakarta Commons-HttpClient/2.0xxx 
Disallow: /

User-agent: Jakarta Commons-HttpClient/3.0-rcx 
Disallow: /

User-agent: dotbot 
Disallow: /

User-Agent: *
Disallow: /add/
Disallow: /admin/
Disallow: /consultants/ 
Disallow: /css/
Disallow: /files/
Disallow: /images/
Disallow: /inc/
Disallow: /KatalogLambre/
Disallow: /left_bar/
Disallow: /member/
Disallow: /varuosad/ 
Disallow: /stat/
Disallow: /demo1/
Disallow: /lambre_admin/
Disallow: /LambreUser/
Disallow: /pages/


#proxy.asianet.co.th
#tirta-drenthe.com
#78.39.204.114
#cpe-24-168-155-111.nj.res.rr.com
#catv77018.tac-net.ne.jp
#Jakarta Commons-HttpClient/2.0xxx 
#Jakarta Commons-HttpClient/3.0-rcx
#89.248.99.82