ения этого поля указан символ "*",
то заданные в этой записи права доступа распространяются на любых поисковых
роботов, запросивших файл /robots.txt</LI>
</UL>

<P>Disallow</P>

<UL>
<LI>значением &lt;value&gt; этого поля должен являться частичный
URL, который не должен индексироваться. Это может быть полный путь или
частичный; любой URL, начинающийся с такого пути не должен индексироваться.
Например, Disallow: /help закрывает и /help.html, и /help/index.html, тогда
как <BR>
Disallow: /help/- только /help/index.html. </LI>

<LI>если значение Disallow не указано, то это означает, что
индексируется все дерево каталогов сервера</LI>
</UL>

<P align=justify>Любая запись (record) должна состоять хотя бы из одной
строки (line) User-Agent и одной - Disallow</P>

<P align=justify>Если файл /robots.txt пуст, или не отвечает заданному
формату и семантике, или его не существует, любой поисковый робот будет
работать по своему алгоритму.</P>

<P><A NAME="5"></A><B>Примеры</B></P>

<P>Пример 1: </P>

<PRE># robots.txt for http://www.site.com

        User-Agent: *

        Disallow: /cyberworld/map/ # this is an infinite virtual URL space
        Disallow: /tmp/ # these will soon disappear
</PRE>

<P align=justify>В примере 1 закрывается от индексации содержимое директорий
/cyberworld/map/ и /tmp/. </P>

<P>Пример 2: </P>

<PRE># robots.txt for http://www.site.com

        User-Agent: *

        Disallow: /cyberworld/map/ # this is an infinite virtual URL space

# Cybermapper knows where to go

        User-Agent: cybermapper

        Disallow:
</PRE>

<P align=justify>В примере 2 закрывается от индексации содержимое директории
/cyberworld/map/, однако поисковому роботу cybermapper все разрешено. </P>

<P>Пример 3:</P>

<PRE># robots.txt for http://www.site.com

        User-Agent: *

        Disallow: /
</PRE>

<P align=justify>В примере 3 любому поисковому роботу запрещается индексировать
сервер. </P>

<P><A NAME="6"></A><B>Примечания переводчика</B> </P>

<P align=justify>В настоящее время стандарт несколько изменился, например,
можно записывать в строке User-Agent несколько имен роботов, разделенных
пробелами или табуляторами.</P>

<P><A NAME="7"></A><B>Адреса авторов</B></P>

<P>Martijn Koster, <A HREF="mailto:m.koster@webcrawler.com">m.koster@webcrawler.com</A>
</FONT></P>

<P>Перевод: Андрей Аликберов, <A HREF="mailto:info@citmgu.ru?Subject='From CIT-FORUM.COM'">info@citmgu.ru</A>
</FONT></P>