Оглавление файла ( /WEBMASTER/robots-faq.txt )
The Web Robots FAQ Несколько слов о том, как работают роботы (spiders) поисковых машин Стандарт исключений для роботов