The Web Robots FAQ

Original of this document is here │ http://info.webcrawler.com/mak/projects/robots/faq.html

</pre>

<BASE HREF="http://info.webcrawler.com/mak/projects/robots/faq.html">

These frequently asked questions about Web robots.
<br>
Send suggestions and comments to
<a href="/mak/mak.html">Martijn Koster</a>.

<p>

<h2><A NAME="toc">Table of Contents</A></h2>

<ol>
<li><a name="about">About WWW robots</a>
<ul>
<li><A HREF="#what">What is a WWW robot?</A>
<li><A HREF="#agent">What is an agent?</A>
<li><A HREF="#engine">What is a search engine?</A>
<li><A HREF="#kinds">What kinds of robots are there?</A>
<li><A HREF="#othernames">So what are Robots, Spiders, Web Crawlers, Worms,
Ants?</a>
<li><A HREF="#bad">Aren't robots bad for the web?</a>

<li><a HREF="#books">Are there any robot books?</a>
<li><A HREF="#info">Where do I find out more about robots?</a>
</ul>

<li><A NAME="indexing">Indexing robots</A>
<ul>
<li><A HREF="#visit">How does a robot decide where to visit?</A>
<li><A HREF="#index">How does an indexing robot decide what to index?</A>
<li><A HREF="#register">How do I register my page with a robot?</A>
</ul>
<li><A NAME="admin">For Server Administrators</A>
<ul>
<li><A HREF="#metoo">How do I know if I've been visited by a robot?</A>
<li><A HREF="#nowwhat">I've been visited by a robot! Now what?</A>
<li><A HREF="#rapidfire">A robot is traversing my whole site too fast!</A>
<li><A HREF="#away">How do I keep a robot off my server?</A>
</ul>
<li><a name="exclusion">Robots exclusion standard</a>
<ul>
<li><A HREF="#log">Why do I find entries for /robots.txt in my log files?</A>
<li><A HREF="#prevent">How do I prevent robots scanning my site?</A>
<li><A HREF="#robotstxt">Where do I find out how /robots.txt files work?</A>
<li><A HREF="#extension">Will the /robots.txt standard be extended?</A>
<li><A HREF="#noindex">What if I cannot make a /robots.txt?</A>
</ul>
<li><a NAME="availability">Availability</a>
<ul>
<li><A HREF="#use">Where can I use a robot?</A>
<li><A HREF="#get">Where can I get a robot?</A>
<li><A HREF="#source">Where can I get the source code for a robot?</A>
<li><A HREF="#writing">I'm writing a robot, what do I need to be careful of?</A>
<li><A HREF="#adding">I've written a robot, how do I list it?</A>
</ul>
</ol>

<hr>

<h2>About Web Robots</h2>

<hr>

<h3><a name="what">What is a WWW robot?</a></h3>

A robot is a program that automatically traverses the Web's hypertext
structure by retrieving a document, and recursively retrieving all
documents that are referenced.

<p>

Note that "recursive" here doesn't limit the definition to any specific
traversal algorithm; even if a robot applies some heuristic to the
selection and order of documents to visit and spaces out requests
over a long space of time, it is still a robot.

<p>

Normal Web browsers are not robots, because the are operated by a human,
and don't automatically retrieve referenced documents (other than
inline images).

<p>

Web robots are sometimes referred to as Web Wanderers, Web Crawlers,
or Spiders. These names are a bit misleading as they give the impression
the software itself moves between sites like a virus; this not the case,
a robot simply visits sites by requesting documents from them.

<hr>

<h3><a name="agent">What is an agent?</a></h3>

The word "agent" is used for lots of meanings in computing these days.
Specifically:

<dl compact>
<dt>
Autonomous agents
<dd>
are programs that do travel between sites, deciding
  themselves when to move and what to do (e.g.
  <a href="http://www.genmagic.com/Telescript/">General Magic's Telescript</a>).
  These can only travel between special servers and are currently not
  widespread in the Internet.
<dt>
Intelligent agents
<dd>
are programs that help users with things, such as
  choosing a product, or guiding a user through form filling, or even
  helping users find things. These have generally little to do with
  networking.
<dt>
User-agent
<dd>
is a technical name for programs that perform networking
  tasks for a user, such as Web User-agents like Netscape Explorer,
  Email User-agent like Qualcomm Eudora etc.
</dl>

<hr>

<h3><a name="engine">What is a search engine?</a></h3>

A search engine is a program that searches through some dataset. In the
context of the Web, the word "search engine" is most often used for search
forms that search through databases of HTML documents gathered by a robot.

<hr>

<h3><a name="kinds">What other kinds of robots are there?</a></h3>

Robots can be used for a number of purposes:

<ul>
<li><a href="#indexing">Indexing</a>
<li>HTML validation
<li>Link validation
<li>"What's New" monitoring
<li>Mirroring
</ul>

See the
<a href="active.html">
list of active robots
</a>
to see what robot does what.
Don't ask me -- all I know is what's on the list...

<hr>

<h3><a name="othernames">So what are Robots, Spiders, Web Crawlers, Worms,
Ants</a></h3>

They're all names for the same sort of thing, with slightly different
connotations:
<dl compact>
<dt>Robots
<dd>the generic name, see <a href="#what">above</a>.
<dt>Spiders
<dd>same as robots, but sounds cooler in the press.
<dt>Worms
<dd>same as robots, although technically a worm is a replicating program,
unlike a robot.
<dt>Web crawlers
<dd>same as robots, but note <a href="http://webcrawler.com/">WebCrawler</a>
is a specific robot
<dt>WebAnts
<dd>distributed cooperating robots.
</dl>

<hr>

<h3><a name="bad">Aren't robots bad for the web?</a></h3>

There are a few reasons people believe robots are bad for the Web:

<ul>
<li>
Certain robot implementations can (and have in the past) overloaded
  networks and servers. This happens especially with people who are
  just starting to write a robot; these days there is sufficient
  information on robots to prevent some of these mistakes.

<li>Robots are operated by humans, who make mistakes in configuration,
  or simply don't consider the implications of their actions.
  This means people need to be careful, and robot authors need to make
  it difficult for people to make mistakes with bad effects

<li>Web-wide indexing robots build a central database of documents,
  which doesn't scale too well to millions of documents on millions
  of sites.
</ul>

But at the same time the majority of robots are well designed,
professionally operated, cause no problems, and provide a valuable service
in the absence of widely deployed better solutions.

<p>

So no, robots aren't inherently bad, nor inherently brilliant,
and need careful attention.

<hr>

<h3><a name="books">Are there any robot books?</a></h3>

Yes:
<dl>
<dt>
<a href="http://www.mcp.com/cgi-bin/bag?isbn=1-56205-463-5&last=/bookstore">Internet Agents: Spiders, Wanderers, Brokers, and Bots</a>
by Fah-Chun Cheong.
<dd>This books covers Web robots, commerce transaction agents,
Mud agents, and a few others. It includes source code for a
simple Web robot based on top of libwww-perl4.
<p>
Its coverage of HTTP, HTML, and Web libraries is a bit too thin to be
a "how to write a web robot" book, but it provides useful background
reading and a good overview of the state-of-the-art, especially if you
haven't got the time to find all the info yourself on the Web.
<p>
Published by <A href="http://www.mcp.com/newriders">New Riders</a>,
ISBN 1-56205-463-5.
<p>

<dt>
<a href="http://www.mcp.com/cgi-bin/bag?isbn=1-57521-016-9&last=/bookstore">
Bots and Other Internet Beasties
</a> by Joseph Williams
<dd>
I haven't seen this myself, but someone said:
<quote>
The William's book 'Bots and other Internet Beasties' was quit
disappointing.  It claims to be a 'how to' book on writing robots,
but my impression is that it is nothing more than a collection
of chapters, written by various people involved in this area and
subsequently bound together.
</quote>

<p>
Published by Sam's, ISBN: 1-57521-016-9
<p>
</dd>

<dt>
<a href="http://www.ora.com/catalog/webclient/">Web
Client Programming with Perl</a> by Clinton Wong
<dd>
This O'Reilly book is planned for Fall 1996, check the
<a href="http://www.ora.com">O'Reilly Web Site</a> for
the current status. It promises to be a practical book,
but I haven't seen it yet.
</dd>
</dl>

A few others can be found on the
<a href="http://www.ee.mcgill.ca/~belmarc/agent_faq.html">
The Software Agents Mailing List FAQ
</a>
<hr>

<h3><a name="info">Where do I find out more about robots?</a></h3>

There is a Web robots home page on:

<a href="http://info.webcrawler.com/mak/projects/robots/robots.html">
http://info.webcrawler.com/mak/projects/robots/robots.html
</a>

<p>

While this is hosted at one of the major robots' site, it is
an unbiased and reasoneably comprehensive collection of information
which is maintained by Martijn Koster &lt;m.koster@webcrawler.com&gt;.

<p>

Of course the latest version of this FAQ is there.

<p>

You'll also find details and an archive of the robots mailing
list, which is intended for technical discussions about robots.

<hr>

<h2>Indexing robots</h2>

<hr>

<h3><a name="visit">How does a robot decide where to visit?</a></h3>

This depends on the robot, each one uses different strategies.
In general they start from a historical list of URLs, especially
of documents with many links elsewhere, such as server lists,
"What's New" pages, and the most popular sites on the Web.

<p>

Most indexing services also allow you to submit URLs manually,
which will then be queued and visited by the robot.

<p>

Sometimes other sources for URLs are used, such as scanners
through USENET postings, published mailing list achives etc.

<p>

Given those starting points a robot can select URLs to visit
and index, and to parse and use as a source for new URLs.

<h3><a name="index">How does an indexing robot decide what to index?</a></h3>

If an indexing robot knows about a document, it may decide to
parse it, and insert it into its database. How this is done
depends on the robot: Some robots index the HTML
Titles, or the first few paragraphs, or parse the entire
HTML and index all words, with weightings depending on HTML
constructs, etc. Some parse the META tag, or other special
hidden tags.

<p>

We hope that as the Web evolves more facilities becomes available
to efficiently associate meta data such as indexing information
with a document. This is being worked on...

<hr>

<h3><a name="register">How do I register my page with a robot?</a></h3>

You guessed it, it depends on the service :-) Most services have
a link to a URL submission form on their search page.

<p>

Fortunately you don't have to submit your URL to every service
by hand: <a href="http://www.submit-it.com/">Submit-it</a>
&lt;URL: http://www.submit-it.com/&gt; will do it for you.

<hr>

<h2>For Server Administrators</h2>

<hr>

<h3><a name="metoo">How do I know if I've been visited by a robot?</a></h3>

You can check your server logs for sites that retrieve many
documents, especially in a short time.

<p>

If your server supports User-agent logging you can check for
retrievals with unusual User-agent heder values.

<p>

Finally, if you notice a site repeatedly checking for the file
'/robots.txt' chances are that is a robot too.

<hr>

<h3><a name="nowwhat">I've been visited by a robot! Now what?</a></h3>

Well, nothing :-) The whole idea is they are automatic; you don't
need to do anything.

<p>

If you think you have discovered a new robot (ie one that is not
listed on <a href="active.html">
the list of active robots</a>, and it does more than sporadic visits,
drop me a line so I can make a note of it for future reference.
But please don't tell me about every robot that happens to drop by!

<hr>

<h3><a name="rapidfire">A robot is traversing my whole site too fast!</a></h3>

This is called "rapid-fire", and people usually notice it if they're
monitoring or analysing an access log file.

<p>

First of all check if it is a problem by checking the load of your server,
and monitoring your servers' error log, and concurrent connections if
you can. If you have a medium or high performance server, it is quite
likely to be able to cope a high load of even several requests per second,
especially if the visits are quick.

<p>

However you may have problems if you have a low performance site, such as
your own desktop PC or Mac you're working on, or you run low performance
server software, or if you have many long retrievals (such as CGI scripts
or large documents). These problems manifest themselves in refused
connections, a high load, performance slowdowns, or in extreme cases a
system crash.

<p>

If this happens, there are a few things you should do. Most importantly,
start logging information: when did you notice, what happened, what do
your logs say, what are you doing in response etc; this helps investigating
the problem later. Secondly, try and find out where the robot came from,
what IP addresses or DNS domains, and see if they are mentioned in the
<a href="active.html">
list of active robots</a>. If you can identify a site this way, you can
email the person responsible, and ask them what's up. If this doesn't help,
try their own site for telephone numbers, or mail postmaster at their
domain.

<p>

If the robot is not on the list, mail me with all the information you
have collected, including actions on your part. If I can't help, at least
I can make a note of it for others.

<hr>

<h3><a name="away">How do I keep a robot off my server?</a></h3>

Read the next section...

<hr>

<h2>Robots exclusion standard</h2>

<hr>

<h3><a name="log">Why do I find entries for /robots.txt in my log
files?</a></h3>

They are probably from robots trying to see if you have specified
any rules for them using the <a href="norobots.html">Standard
for Robot Exclusion</a>, see also <a href="#robots.txt">below</a>.

<p>

If you don't care about robots and want to prevent the messages
in your error logs, simply create an empty file called robots.txt
in the root level of your server.

<p>

Don't put any HTML or English language "Who the hell are you?"
text in it -- it will probably never get read by anyone :-)

<hr>

<h3><a name="prevent">How do I prevent robots scanning my site?</a></h3>

The quick way to prevent robots visiting your site is put these
two lines into the /robots.txt file on your server:

<blockquote>
<pre>
User-agent: *
Disallow: /
</pre>
</blockquote>

but its easy to <a href="#robotstxt">be more selective</a> than that.

<hr>

<h3><a name="robotstxt">Where do I find out how /robots.txt files work?</a></h3>

You can read <a href="norobots.html">the whole standard specification</a>
but the basic concept is simple: by writing a structured text
file you can indicate to robots that certain parts of your
server are off-limits to some or all robots. It is best explained
with an example:
<blockquote>
<pre>
# /robots.txt file for http://webcrawler.com/
# mail webmaster@webcrawler.com for constructive criticism

User-agent: webcrawler
Disallow:

User-agent: lycra
Disallow: /

User-agent: *
Disallow: /tmp
Disallow: /logs
</pre>
</blockquote>
The first two lines, starting with '#', specify a comment

<p>

The first paragraph specifies that the robot called 'webcrawler'
has nothing disallowed: it may go anywhere.

<p>

The second paragraph indicates that the robot called 'lycra'
has all relative URLs starting with '/' disallowed.
Because all relative URL's on a server start with '/',
this means the entire site is closed off.

<p>

The third paragraph indicates that all other robots should not
visit URLs starting with /tmp or /log. Note the '*' is a special
token; its not a regular expression.

<p>

Two common errors:
<ul>
<li>
Regular expressions are _not_ supported: instead of
'Disallow: /tmp/*' just say 'Disallow: /tmp'.
<li>
You shouldn't put more than one path on a Disallow line (this may
change in a future version of the spec)
</ul>

<hr>

<h3><a name="extension">Will the /robots.txt standard be extended?</a></h3>

Probably... there are some ideas floating around. They haven't
made it into a coherent proposal because of time constraints,
and because there is little pressure. Mail suggestions to the
robots mailing list, and check the robots home page for work
in progress.

<hr>

<h3><a name="noindex">What if I can't make a /robots.txt file?</a></h3>

Sometimes you cannot make a /robots.txt file, because you don't
administer the entire server. All is not lost: there is a new
<a href="http://www.w3.org/pub/WWW/Search/9605-Indexing-Workshop/ReportOutcomes/Spidering.txt">standard</a>
for using HTML META tags to keep robots out of your documents.

<p>

The basic idea is that if you include a tag like:
<blockquote>
<pre>
&lt;META NAME="ROBOTS" CONTENT="NOINDEX"&gt;
</pre>
</blockquote>
in your HTML document, that document won't be indexed.
<p>
If you do:
<blockquote>
<pre>
&lt;META NAME="ROBOTS" CONTENT="NOFOLLOW"&gt;
</pre>
</blockquote>
the links in that document will not be parsed by the robot.
<hr>

<h2>Availability</h2>

<hr>

<h3><a name="use">Where can I use a robot?</a></h3>

If you mean a search service, check out the various directory pages
on the Web, such as
Netscape's
<a href="http://home.netscape.com/home/internet-search.html">
Exploring the Net</a>
or try one of the Meta search services such as
<a href="http://metasearch.com/">MetaSearch</a>
<hr>

<h3><a name="get">Where can I get a robot?</a></h3>

Well, you can have a look at the list of robots; I'm starting to
indicate their public availability slowly.

<p>

In the meantime, two indexing robots that you should be able to
get hold of are Harvest (free), and Verity's.
<hr>

<h3><a name="source">Where can I get the source code for a robot?</a></h3>

See <A href="#get">above</a> -- some may be willing to give out source code.
<p>
Alternatively check out the libwww-perl5 package, that has a simple example.
<hr>

<h3><a name="writing">I'm writing a robot, what do I need to be careful
of?</a></h3>

Lots. First read through all the stuff on
<a href="http://info.webcrawler.com/mak/projects/robots/robots.html">
the robot page</a>
then read the proceedings of past WWW Conferences, and the
complete HTTP and HTML spec. Yes; it's a lot of work :-)

<hr>

<h3><a name="adding">I've written a robot, how do I list it?</a></h3>

Simply fill in a form you can find on
<a href="http://info.webcrawler.com/mak/projects/robots/active.html">
The Web Robots Database</a> and email it to me.

<hr>
<div align=right>
<address>
<small>
<a href="/mak/mak.html">Martijn Koster</a>
</small>
</address>
</div>

        Несколько слов о том, как работают роботы (spiders) поисковых машин
<I>Андрей Аликберов, <a href="http://www.citmgu.ru">Центр Информационных Технологий</a></I></CENTER>
<ul type=disk>
<li><a href="#0">Введение</a>
<ul type=disk>
<li><a href="#1">Формат файла /robots.txt</a>
<li><a href="#2">Записи (records) файла /robots.txt</a>
<li><a href="#3">Параметры</a>
<li><a href="#4">Расширенные комментарии формата</a>
<li><a href="#5">Примеры</a>
<li><a href="#6">Некоторые проблемы, связанные с поисковыми роботами</a>
<li><a href="#7">Использование мета-тагов HTML</a>
</ul>
<li><a href="#8">ROBOTS мета-таги</a>
<ul type=disk>
<li><a href="#9">KEYWORDS мета-таг</a>
<li><a href="#10">DESCRIPTION мета-таг</a>
<li><a href="#11">Предполагаемые варианты исключения повторных посещений с помощью
мета-тагов HTML</a>
<li><a href="#12">Индексировать документ один раз или делать это регулярно?</a>
<li><a href="#13">Как исключить индексирование генерируемых страниц или дублирование
документов, если есть зеркала сервера?</a>
<li><a href="#14">Источники</a>
</ul></ul>
<center><a name="0"></a><p><b>Введение</b></center>
<P align=justify>
Эта статья вовсе не является попыткой объяснить, как работают
поисковые машины вообще (это know-how
их производителей). Однако, по моему мнению, она поможет
понять как можно управлять поведением поисковых роботов (wanderers,
spiders, robots - программы, с помощью которых та или иная
поисковая система обшаривает сеть и индексирует встречающиеся
документы) и как правильно
построить структуру сервера и содержащихся на нем документов,
чтобы Ваш сервер легко и хорошо индексировался.
<P align=justify >
Первой причиной того, что я решился написать эту статью, явился
случай, когда я исследовал файл логов доступа к моему серверу
и обнаружил там следующие две строки:
</p><p>
lycosidae.lycos.com - - [01/Mar/1997:21:27:32 -0500] &quot;GET /robots.txt HTTP/1.0&quot; 404 -<br>
lycosidae.lycos.com - - [01/Mar/1997:21:27:39 -0500] &quot;GET / HTTP/1.0&quot; 200 3270

<p align=justify >
то есть Lycos обратился к
моему серверу, на первый запрос получил, что файла /robots.txt
нет, обнюхал первую страницу, и отвалил. Естественно, мне это
не понравилось, и я начал выяснять что к чему.
<P align=justify >
Оказывается, все &quot;умные&quot; поисковые машины сначала обращаются
к этому файлу, который должен присутствовать на каждом сервере.
Этот файл описывает права доступа для поисковых роботов, причем
существует возможность указать для различных роботов разные права.
Для него существует стандарт под названием <a href="rbtspec.html">Standart
for Robot Exclusion</a>.
<P align=justify >
По мнению Луиса Монье (Louis Monier, Altavista),
только 5% всех сайтов в настоящее время имеет не пустые файлы
/robots.txt если вообще они (эти файлы) там существуют. Это подтверждается
информацией, собранной при недавнем исследовании логов работы
робота Lycos. Шарль Коллар (Charles
P.Kollar, Lycos) пишет, что только 6% от всех запросов
на предмет /robots.txt имеют код результата 200. Вот несколько
причин, по которым это происходит:
<UL>
<LI>люди, которые устанавливают Веб-сервера, просто не знают ни
об этом стандарте, ни о необходимости существования файла /robots.txt.
<LI>не обязательно человек, инсталлировавший Веб-сервер, занимается
его наполнением, а тот, кто является вебмастером, не имеет должного
контакта с администратором самой &quot;железяки&quot;.
<LI>это число отражает число сайтов, которые действительно нуждаются
в исключении лишних запросов роботов, поскольку не на всех серверах
имеется такой существенный трафик, при котором посещение сервера
поисковым роботом, становится заметным для простых пользователей.
</UL>
<P><a name="1"></a>
<B>Формат файла /robots.txt.</B>
<P align=justify >
Файл /robots.txt предназначен для указания всем поисковым роботам
(spiders) индексировать информационные сервера так, как определено
в этом файле, т.е. только те директории и файлы сервера, которые
НЕ описаны в /robots.txt. Это файл должен содержать 0 или более
записей, которые связаны с тем или иным роботом (что определяется
значением поля agent_id), и указывают для каждого робота или для
всех сразу что именно им НЕ НАДО индексировать. Тот, кто пишет
файл /robots.txt, должен указать подстроку Product Token поля
User-Agent, которую каждый робот выдает на HTTP-запрос индексируемого
сервера. Например, нынешний робот Lycos на такой запрос выдает
в качестве поля User-Agent:
<Pre>
	Lycos_Spider_(Rex)/1.0 libwww/3.1
</pre>
<P align=justify >
Если робот Lycos не нашел своего описания в /robots.txt - он поступает
так, как считает нужным. Как только робот Lycos &quot;увидел&quot;
в файле /robots.txt описание для себя - он поступает так, как
ему предписано.
<P align=justify >
При создании файла /robots.txt следует учитывать еще один фактор
- размер файла. Поскольку описывается каждый файл, который не
следует индексировать, да еще для многих типов роботов отдельно,
при большом количестве не подлежащих индексированию файлов размер
/robots.txt становится слишком большим. В этом случае следует
применять один или несколько следующих способов сокращения размера
/robots.txt:
<UL>
<LI>указывать директорию, которую не следует индексировать, и,
соответственно, не подлежащие индексированию файлы располагать
именно в ней
<LI>создавать структуру сервера с учетом упрощения описания исключений
в /robots.txt
<LI>указывать один способ индексирования для всех agent_id
<LI>указывать маски для директорий и файлов
</UL>
<P><a name="2"></a>
<B>Записи (records) файла /robots.txt</B>
<P>
Общее описание формата записи.
<P>
<TT>[ # comment string NL
]*</TT>
<P>
<TT>User-Agent: [ [ WS ]+
agent_id ]+ [ [ WS ]* # comment string ]? NL</TT>
<P>
<TT>[ # comment string NL
]*</TT>
<P>
<TT>Disallow: [ [ WS ]+ path_root
]* [ [ WS ]* # comment string ]? NL</TT>
<P>
<TT>[</TT>
<P>
<TT>  # comment string NL</TT>
<P>
<TT>|</TT>
<P>
<TT>  Disallow: [ [ WS ]+
path_root ]* [ [ WS ]* # comment string ]? NL</TT>
<P>
<TT>]*</TT>
<P>
<TT>[ NL ]+</TT>
<P><a name="3"></a>
<B>Параметры</B>
<P>
Описание параметров, применяемых в записях /robots.txt
<P align=justify >
[...]+ Квадратные скобки со следующим за ними знаком + означают,
что в качестве параметров должны быть указаны один или несколько
терминов.
<P align=justify >
Например, после &quot;User-Agent:&quot; через пробел могут быть
указаны один или несколько agent_id.
<P align=justify >
[...]* Квадратные скобки со следующим за ними знаком * означают,
что в качестве параметров могут быть указаны ноль или несколько
терминов.
<P align=justify >
Например, Вы можете писать или не писать комментарии.
<P align=justify >
[...]? Квадратные скобки со следующим за ними знаком ? означают,
что в качестве параметров могут быть указаны ноль или один термин.
<P align=justify >
Например, после &quot;User-Agent: agent_id&quot; может быть написан
комментарий.
<P align=justify >
..|.. означает или то, что до черты, или то, что после.
<P align=justify >
WS один из символов - пробел (011) или табуляция (040)
<P align=justify >
NL один из символов - конец строки (015) , возврат каретки (012)
или оба этих символа (Enter)
<P align=justify >
User-Agent: ключевое слово (заглавные и прописные буквы роли не
играют).
<P align=justify >
Параметрами являются agent_id поисковых роботов.
<P align=justify >
Disallow: ключевое слово (заглавные и прописные буквы роли не
играют).
<P align=justify >
Параметрами являются полные пути к неиндексируемым файлам или
директориям
<P align=justify >
# начало строки комментариев, comment string - собственно тело
комментария.
<P align=justify >
agent_id любое количество символов, не включающих WS и NL, которые
определяют agent_id различных поисковых роботов. Знак * определяет
всех роботов сразу.
<P align=justify >
path_root любое количество символов, не включающих WS и NL, которые
определяют файлы и директории, не подлежащие индексированию.
<P><a name="4"></a>
<B>Расширенные комментарии формата.</B>
<P align=justify >
Каждая запись начинается со строки User-Agent, в которой описывается
каким или какому поисковому роботу эта запись предназначается.
Следующая строка: Disallow. Здесь описываются не подлежащие индексации
пути и файлы. КАЖДАЯ запись ДОЛЖНА иметь как минимум эти две строки
(lines). Все остальные строки являются опциями. Запись может содержать
любое количество строк комментариев. Каждая строка комментария
должна начинаться с символа # . Строки комментариев могут быть
помещены в конец строк User-Agent и Disallow. Символ # в конце
этих строк иногда добавляется для того, чтобы указать поисковому
роботу, что длинная строка agent_id или path_root закончена. Если
в строке User-Agent указано несколько agent_id, то условие path_root
в строке Disallow будет выполнено для всех одинаково. Ограничений
на длину строк User-Agent и Disallow нет. Если поисковый робот
не обнаружил в файле /robots.txt своего agent_id, то он игнорирует
/robots.txt.
<P align=justify >
Если не учитывать специфику работы каждого поискового робота,
можно указать исключения для всех роботов сразу. Это достигается
заданием строки
<Pre>
	User-Agent: *
</pre>
<P align=justify >
Если поисковый робот обнаружит в файле /robots.txt несколько записей
с удовлетворяющим его значением agent_id, то робот волен выбирать
любую из них.
<P align=justify >
Каждый поисковый робот будет определять абсолютный URL для чтения
с сервера с использованием записей /robots.txt. Заглавные и строчные
символы в path_root ИМЕЮТ значение.
<P><a name="5"></a>
<B>Примеры.</B>
<P>
<I>Пример 1:</I>
<P>
<TT>User-Agent: *</TT>
<P>
<TT>Disallow: /<BR>
</TT>
<P>
<TT>User-Agent: Lycos</TT>
<P>
<TT>Disallow: /cgi-bin/ /tmp/
<BR>
</TT>
<P>
В примере 1 файл /robots.txt содержит две записи. Первая относится
ко всем поисковым роботам и запрещает индексировать все файлы.
Вторая относится к поисковому роботу Lycos и при индексировании
им сервера запрещает директории /cgi-bin/ и /tmp/, а остальные
- разрешает. Таким образом сервер будет проиндексирован только
системой Lycos.
<P>
<I>Пример 2:</I>
<P>
<TT>User-Agent: Copernicus
Fred</TT>
<P>
<TT>Disallow:<BR>
</TT>
<P>
<TT>User-Agent: * Rex</TT>
<P>
<TT>Disallow: /t<BR>
</TT>
<P>
В примере 2 файл /robots.txt содержит две записи. Первая разрешает
поисковым роботам Copernicus и Fred индексировать весь сервер.
Вторая - запрещает всем и осебенно роботу Rex индексировать такие
директории и файлы, как /tmp/, /tea-time/, /top-cat.txt, /traverse.this
и т.д. Это как раз случай задания маски для директорий и файлов.
<P>
<I>Пример 3:</I>
<P>
<TT># This is for every spider!</TT>
<P>
<TT>User-Agent: *</TT>
<P>
<TT># stay away from this</TT>
<P>
<TT>Disallow: /spiders/not/here/
#and everything in it</TT>
<P>
<TT>Disallow: # a little nothing</TT>
<P>
<TT>Disallow: #This could
be habit forming!</TT>
<P>
<TT># Don't comments make
code much more readable!!!</TT>
<P>
В примере 3 - одна запись. Здесь всем роботам запрещается индексировать
директорию /spiders/not/here/, включая такие пути и файлы как
/spiders/not/here/really/, /spiders/not/here/yes/even/me.html.
Однако сюда не входят /spiders/not/ или /spiders/not/her (в директории
'/spiders/not/').
<P><a name="6"></a>
<B>Некоторые проблемы, связанные с поисковыми роботами.</B>
<P>
<I>Незаконченность стандарта (</I>Standart
for Robot Exclusion<I>).</I>
<P align=justify >
К сожалению, поскольку поисковые системы появились не так давно,
стандарт для роботов находится в стадии разработки, доработки,
ну и т.д. Это означает, что в будущем совсем необязательно поисковые
машины будут им руководствоваться.
<P>
<I>Увеличение трафика.</I>
<P align=justify >
Эта проблема не слишком актуальна для российского сектора Internet,
поскольку не так уж много в России серверов с таким серьезным
трафиком, что посещение их поисковым роботом будет мешать обычным
пользователям. Собственно, файл /robots.txt
для того и предназначен, чтобы ограничивать действия роботов.
<P>
<I>Не все поисковые роботы используют /robots.txt.</I>
<P align=justify >
На сегодняшний день этот файл обязательно запрашивается поисковыми
роботами только таких систем как Altavista,
Excite, Infoseek, Lycos, OpenText и WebCrawler.
<P><a name="7"></a>
<B>Использование мета-тагов HTML.</B>
<P align=justify >
Начальный проект, который был создан в результате соглашений между
программистами некоторого числа коммерческих индексирующих организаций
(Excite, Infoseek, Lycos, Opentext и  WebCrawler) на недавнем
собрании Distributing Indexing Workshop (W3C) , ниже.
<P align=justify >
На этом собрании обсуждалось использование мета-тагов HTML для
управления поведением поисковых роботов, но окончательного соглашения
достигнуто не было. Были определены следующие проблемы для обсуждения
в будущем:
<UL>
<LI>Неопределенности в спецификации файла /robots.txt
<LI>Точное определение использования мета-тагов HTML, или дополнительные
поля в файле /robots.txt
<LI>Информация &quot;Please visit&quot;
<LI>Текущий контроль информации: интервал или максимум открытых
соединений с сервером, при которых можно начинать индексировать
сервер.
</UL>
<hr width=90%>
<P><a name="8"></a>
<CENTER><B>ROBOTS мета-таги</B></CENTER>
<P align=justify >
Этот таг предназначен для пользователей, которые не могут контролировать
файл /robots.txt на своих веб-сайтах. Таг позволяет задать поведение
поискового робота для каждой HTML-страницы, однако при этом нельзя
совсем избежать обращения робота к ней (как возможно указать в
файле /robots.txt).
<P>
&lt;META NAME=&quot;ROBOTS&quot; CONTENT=&quot;robot_terms&quot;&gt;
<P align=justify >
robot_terms - это разделенный запятыми список следующих ключевых
слов (заглавные или строчные символы роли не играют): ALL, NONE,
INDEX, NOINDEX, FOLLOW, NOFOLLOW.<BR>
<P align=justify >
NONE - говорит всем роботам игнорировать эту страницу при индексации
(эквивалентно одновременному использованию ключевых слов NOINDEX,
NOFOLLOW).
<P align=justify >
ALL - разрешает индексировать эту страницу и все ссылки из нее
(эквивалентно одновременному использованию ключевых слов INDEX,
FOLLOW).
<P align=justify >
INDEX - разрешает индексировать эту страницу
<P align=justify >
NOINDEX - неразрешает индексировать эту страницу
<P align=justify >
FOLLOW - разрешает индексировать все ссылки из этой страницы
<P align=justify >
NOFOLLOW - неразрешает индексировать ссылки из этой страницы
<P align=justify >
Если этот мета-таг пропущен или не указаны robot_terms, то по
умолчанию поисковый робот поступает как если бы были указаны robot_terms=
INDEX, FOLLOW (т.е. ALL).
Если в CONTENT обнаружено
ключевое слово ALL, то робот
поступает соответственно, игнорируя возможно указанные другие
ключевые слова.. Если в CONTENT имеются
противоположные по смыслу ключевые слова, например, FOLLOW,
NOFOLLOW, то робот поступает по своему усмотрению (в этом
случае FOLLOW).
<P align=justify >
Если robot_terms содержит только NOINDEX,
то ссылки с этой страницы не индексируются. Если robot_terms содержит
только NOFOLLOW, то страница
индексируется, а ссылки, соответственно, игнорируются.
<P><a name="9"></a>
<B>KEYWORDS мета-таг.</B>
<P>
&lt;META NAME=&quot;KEYWORDS&quot;
CONTENT=&quot;phrases&quot;&gt;
<P align=justify >
phrases - разделенный запятыми
список слов или словосочетаний (заглавные и строчные символы роли
не играют), которые помогают индексировать страницу (т.е. отражают
содержание страницы). Грубо говоря, это те слова, в ответ на которые
поисковая система выдаст этот документ.
<P><a name="10"></a>
<B>DESCRIPTION мета-таг.</B>
<P>
&lt;META NAME=&quot;DESCRIPTION&quot;
CONTENT=&quot;text&quot;&gt;
<P align=justify >
text - тот текст, который
будет выводиться в суммарном ответе на запрос пользователя к поисковой
системе. Сей текст не должен содержать тагов разметки и логичнее
всего вписать в него смысл данного документа на пару-тройку строк.
<P><a name="11"></a>
<B>Предполагаемые варианты исключения повторных посещений с помощью
мета-тагов HTML</B>
<P align=justify >
Некоторые коммерческие поисковые роботы уже используют мета-таги,
позволяющие осуществлять &quot;связь&quot; между роботом и вебмастером.
Altavista использует KEYWORDS
мета-таг, а Infoseek использует
KEYWORDS и
DESCRIPTION мета-таги.
<P><a name="12"></a>
<B>Индексировать документ один раз или делать это регулярно?</B>
<P align=justify >
Вебмастер может &quot;сказать&quot; поисковому роботу или файлу
bookmark пользователя, что
содержимое того или иного файла будет изменяться. В этом случае
робот не будет сохранять URL,
а броузер пользователя внесет или не внесет это файл в bookmark.
Пока эта информация описывается только в файле /robots.txt,
пользователь не будет знать о том, что эта страница будет изменяться.
<P align=justify >
Мета-таг DOCUMENT-STATE может
быть полезен для этого. По умолчанию, этот мета-таг принимается
с CONTENT=STATIC.
<P>
&lt;META NAME=&quot;DOCUMENT-STATE&quot;
CONTENT=&quot;STATIC&quot;&gt;
<P>
&lt;META NAME=&quot;DOCUMENT-STATE&quot;
CONTENT=&quot;DYNAMIC&quot;&gt;
<P><a name="13"></a>
<B>Как исключить индексирование генерируемых страниц или дублирование
документов, если есть зеркала сервера?</B>
<P align=justify >
Генерируемые страницы - страницы, порождаемые действием CGI-скриптов.
Их наверняка не следует индексировать, поскольку если попробовать
провалиться в них из поисковой системы, будет выдана ошибка. Что
касается зеркал, то негоже, когда выдаются две разные ссылки на
разные сервера, но с одним и тем же содержимым. Чтобы этого избежать,
следует использовать мета-таг URL
с указанием абсолютного URL
этого документа (в
случае зеркал - на соответствующую страницу главного сервера).
<P>
&lt;META NAME=&quot;URL&quot; CONTENT=&quot;absolute_url&quot;&gt;
<P><a name="14"></a>
<B>Источники</B>
<ol>
<li>Charles P.Kollar, John R.R. Leavitt,
Michael Mauldin, <B>Robot Exclusion Standard Revisited</B><B>,
</B><a href="http://www.kollar.com/robots.html">www.kollar.com/robots.html</a><P>
<Li>Martijn Koster, <B>Standard for
robot exclusion</B>, <a href="http://info.webcrawler.com/mak/projects/robots/robots.html">info.webcrawler.com/mak/projects/robots/robots.html</a>
</ol>

        Стандарт исключений для роботов
Standard for robot exclusion

<CENTER><P><I>Martijn Koster , перевод А. Аликберова</I>
</FONT></P></CENTER>

<UL>
<LI><A HREF="#1">Статус этого документа</A></LI>
<LI><A HREF="#2">Введение</A></LI>
<LI><A HREF="#3">Назначение</A></LI>
<LI><A HREF="#4">Формат</A></LI>
<LI><A HREF="#5">Примеры</A></LI>
<LI><A HREF="#6">Примечания переводчика</A></LI>
<LI><A HREF="#7">Адреса авторов</A></LI>
</UL>

<P><A NAME="1"></A><B>Статус этого документа</B> </P>

<P align=justify>Этот документ составлен 30 июля 1994 года по материалам
обсуждений в телеконференции robots-request@nexor.co.uk (сейчас конференция
перенесена на WebCrawler. Подробности см. Robots pages at WebCrawler <A HREF="http://info.webcrawler.com/mak/projects/robots/">info.webcrawler.com/mak/projects/robots/</A>)
между большинством производителей поисковых роботов и другими заинтересованными
людьми.Также эта тема открыта для обсуждения в телеконференции Technical
World Wide Web www-talk@info.cern.ch Сей документ основан на предыдущем
рабочем проекте под таким же названием.</P>

<P align=justify>Этот документ не является официальным или чьим-либо корпоративным
стандартом, и не гарантирует того, что все нынешние и будущие поисковые
роботы будут использовать его. В соответствии с ним большинство производителей
роботов предлагает возможность защитить Веб-серверы от нежелательного посещения
их поисковыми роботами.</P>

<P align=justify>Последнюю версию этого документа можно найти по адресу
<A HREF="http://info.webcrawler.com/mak/projects/robots/robots.html">info.webcrawler.com/mak/projects/robots/robots.html
</A></P>

<P><A NAME="2"></A><B>Введение</B></P>

<P align=justify>Поисковые роботы (wanderers, spiders) - это программы,
которые индексируют веб-страницы в сети Internet.</P>

<P align=justify>В 1993 и 1994 годах выяснилось, что индексирование роботами
серверов порой происходит против желания владельцев этих серверов. В частности,
иногда работа роботов затрудняет работу с сервером обычных пользователей,
иногда одни и те же файлы индексируются несколько раз. В других случаях
роботы индексируют не то, что надо, например, очень &quot;глубокие&quot;
виртуальные директории, временную информацию или CGI-скрипты. Этот стандарт
призван решить подобные проблемы.</P>

<P><A NAME="3"></A><B>Назначение</B></P>

<P align=justify>Для того, чтобы исключить посещение сервера или его частей
роботом необходимо создать на сервере файл, содержащий информацию для управления
поведением поискового робота. Этот файл должен быть доступен по протоколу
HTTP по локальному URL /robots.txt. Содержание этого файла см. ниже. </P>

<P align=justify>Такое решение было принято для того, чтобы поисковый робот
мог найти правила, описывающие требуемые от него действия, всего лишь простым
запросом одного файла. Кроме того файл /robots.txt легко создать на любом
из существующих Веб-серверов.</FONT></P>

<P>Выбор именно такого URL мотивирован несколькими критериями:
</P>

<UL>
<LI>Имя файла должно было быть одинаковым для любой операционной
системы</LI>

<LI>Расширение для этого файля не должно было требовать какой-либо
переконфигурации сервера</LI>

<LI>Имя файла должно было быть легко запоминающимся и отражать
его назначение</LI>

<LI>Вероятность совпадения с существующими файлами должна
была быть минимальной</LI>
</UL>

<P><A NAME="4"></A><B>Формат</B></P>

<P align=justify>Формат и семантика файла /robots.txt следующие: </P>

<P align=justify>Файл должен содержать одну или несколько записей (records),
разделенных одной или несколькими пустыми строками (оканчивающимися CR,
CR/NL или NL). Каждая запись должна содержать строки (lines) в форме: </P>

<P>&quot;&lt;field&gt;:&lt;optional_space&gt;&lt;value&gt;&lt;optional_space&gt;&quot;.
</P>

<P>Поле &lt;field&gt; является регистронезависимым. </P>

<P align=justify>Комментарии могут быть включены в файл в обычной для UNIX
форме: символ # означает начало комментария, конец строки - конец комментария.
</P>

<P>Запись должна начинаться с одной или нескольких строк
User-Agent, следом должна быть одна или несколько строк Disallow, формат
которых приведен ниже. Нераспознанные строки игнорируются.</P>

<P>User-Agent</P>

<UL>
<LI>значением &lt;value&gt; этого поля должно являться имя
поискового робота, которому в этой записи устанавливаются права доступа.
</LI>

<LI>если в записи указано более одного имени робота, то права
доступа распространяются для всех указанных имен.</LI>

<LI>заглавные или строчные символы роли не играют </LI>

<LI>если в качестве знач