Оглавление файла ( /WEBMASTER/robots-faq.txt )



  • The Web Robots FAQ

  • нЕСКОЛЬКО СЛОВ О ТОМ, КАК РАБОТАЮТ РОБОТЫ (spiders) ПОИСКОВЫХ МАШИН

  • сТАНДАРТ ИСКЛЮЧЕНИЙ ДЛЯ РОБОТОВ
    • Size: 43399 bytes
    Last-modified: Thu, 28 May 1998 14:14:26 GMT

    И кусочками по 40Кб: [1][2]

    Печатный альманах "Artofwar.ru"
    Пишут ветераны чеченской войны
    Подписка в "Роспечати"
    на 2008 год: код 80934

    Художники - картинные галереи


    Music.lib.ru MP3 Легально! Бесплатно!
    "Самиздат" ждет Писателей и Читателей
    "Заграница" - впечатления о зарубежной жизни
    Водный туризм - готовь байдарку зимой