User-Agent: *
# całego admina
Disallow: /bip_cupt/cms/
# niektóre pliki serwisu
Disallow: /bip_cupt/calendar_widget.jsp
Disallow: /bip_cupt/confirmNewsletter.jsp
Disallow: /bip_cupt/javascript.jsp
Disallow: /bip_cupt/print.jsp
Disallow: /bip_cupt/profile.jsp
Disallow: /bip_cupt/registrationChange.jsp
Disallow: /bip_cupt/registration.jsp
Disallow: /bip_cupt/reminder.jsp
Disallow: /bip_cupt/sending.jsp
Disallow: /bip_cupt/sendingM.jsp
Disallow: /bip_cupt/send.jsp
Disallow: /bip_cupt/stats.jsp
Disallow: /bip_cupt/userPasswordChange.jsp
# niektóre elementy serwisu
Disallow: /_cSs/
Disallow: /_iMg/
Disallow: /_jS/
Disallow: /_uTils/
# pozwala odwiedzac robotom serwis tylko w okreslonych godzinach
# domyslnie ustawiamy od 1:00 do 3:30
Visit-time: 0100-0330
# url do "sitemap" googla, uwaga musi byc pelna sciezka
#Sitemap: http://eo.pl/sitemap.xml
# ile stron co ile sekund (tutaj, 1 strona na 2 sekundy
Request-rate: 1/2
# jakia przerwa przerwa dla zakonczonego sukcesem pobrania
# przyjeto 5 s
Crawl-delay: 5