User-agent: Yandex
User-agent: Aport
User-agent: Googlebot
User-agent: StackRambler
Crawl-delay: 4.5 # задает таймаут в 4.5 секунды
Request-rate: 1/5         # загружать не более одной страницы за пять секунд
Disallow: /_admin/
Disallow: /_htm/
Disallow: /_php/
Disallow: /_str/
Disallow: /_str_menu/
Disallow: /_str_meta/
Disallow: /_str_mini/
Disallow: /_str_news/
Disallow: /_links/
Disallow: /_links_1/
Disallow: /_other/
Disallow: /graf/
Disallow: /mail/
Disallow: /styles/
Disallow: /test/
Disallow: /htm/



User-Agent: *
Crawl-delay: 4.5 # задает таймаут в 4.5 секунды
Request-rate: 1/5         # загружать не более одной страницы за пять секунд
Disallow: /_admin/
Disallow: /_htm/
Disallow: /_links/
Disallow: /_links_1/
Disallow: /_other/
Disallow: /_php/
Disallow: /_str/
Disallow: /_str_menu/
Disallow: /_str_meta/
Disallow: /_str_mini/
Disallow: /_str_news/
Disallow: /a_web/
Disallow: /a_linkoff/
Disallow: /graf/
Disallow: /links_katalog/
Disallow: /mail/
Disallow: /mega2/
Disallow: /styles/
Disallow: /test/
Disallow: /_htm/