Поиск

Статьи » РаскруткаЧто такое robots.txt и для чего он нужен

Написал: Alex V, 1 сентября 2006 | Мнений 0 | Просмотров: 3109
Рейтинг: 
Файл robots.txt размещается в корневой директории сайта и описывает исключения для поисковых ботов. Придерживающийся стандартов бот проверяет сначала url "/robots.txt", если файл существует, то бот анализирует его содержимое на предмет наличия запретов к посещению определённых частей сайта. Имя файла не должно содержать заглавных букв. Записи в файле
В данном поле прописывается полный или частичный путь к месту на сайте, посещение которого запрещено для бота. В каждой записи должно присутствовать как минимум одно поле Disallow. Пустое поле Disallow подразумевает разрешение боту посещать все директории и файлы сайта. Не допускается использование в данном поле регулярных выражений и символов подстановки.
Примеры для http://site.ru/
(Показывает как можно сочетать директивы в файле robots.txt но не несущий смысловой нагрузки)

User-agent: Yandex
Disallow: /test/
Disallow: /print.html
# Запрещает ботам Яндекса посещать папку http://site.ru/test/
# и файл http://site.ru/print.html

User-agent: Aport
User-agent: Googlebot
Disallow: /temp/img/
# Запрещает посещение ботами Google и Апорт http://site.ru/temp/img/

User-agent: StackRambler
Disallow:
# Для бота поисковой системы Рамблер разрешено посещение всех
# страниц и папок сайта

User-Agent: *
Disallow: /lesson.php?action=test
# Запрещает посещение всеми ботами, для которых не сделана
#отдельная запись,
# динамических страниц, начинающихся с http://site.ru/lesson.php?action=test
# например: http://site.ru/lesson.php?action=test&id=13
# чувствительно к порядку переменных в ссылке


Некоторые поисковые системы поддерживают дополнительные поля в файле robots.txt. Яндексом поддерживается директива Host, служащая для назначения основного зеркала:

User-agent: Yandex
Disallow: /test/
Host: site.ru
# разрешено посещение всех страниц и папок на сайте, кроме http://site.ru/test/
# основным зеркалом назначено http://site.ru/

User-agent: *
Disallow:
# всем ботам, кроме бота Яндекса, разрешено посещение всех страниц и
# папок на сайте


Запретить сайт к индексации полностью можно с помощью такого файла robots.txt

User-agent: *
Disallow: /


Наиболее актуальные для Рунета, на мой взгляд, боты:

(думаю, даже расшифровывать не требуется)
Yandex
Googlebot
StackRambler
Aport

Более полным списком не вижу смысла загромождать топик, кому интересно - обращайтесь в личку - вышлю.

Рекомендации по запрету к индексации

Что не следует указывать в файле robots.txt:

- папки с административными файлами
- файлы, о которых посторонним вообще знать не стоит
Прописывание путей к данным частям сайта может породить нездоровый интерес и попытки совершения зловредных действий, рады которым Вы уж точно не будете. К тому же есть и альтернативные способы запрета посещения и индексации ботами страниц.

Стоит запретить к индексации:

- документы "для печати"
- папки со скриптами
- папки с картинками (если у Вас не предвидится целевой аудитории с поиска по картинкам)
- сервисные страницы, такие как, например, страница с формой отправки письма администрации, схема проезда

Ошибки, допускаемые при составлении robots.txt

Как не надо делать:
Имя файла содержит заглавные буквы – Robots.txt или ROBOTS.TXT
Файл robots.txt размещается не в корневой директории
Пустая строка после поля User-agent
Отсутствие директивы Disallow
Использование в поле Disallow символов подстановки или регулярных выражений, например: "?", "*"
Больше одной строки "Disallow: *"

Список не полный и будет дополняться по мере поступления идей с ошибками.

По материалам сайта mastertalk.ru



скачать Метал на Metal Tracker

Советуем обратить внимание на похожие новости

Как сделать, чтобы Rambler находил мои документы?
Автоматически роботы Rambler сканируют сайты, находящиеся в следующих доменах первого уровня: Российская Федерация: .ru, .su Украина: .ua Белоруссия: .by Казахстан: .kz Киргизия: .kg Узбекистан: .uz Грузия: .ge и игнорируют сайты из других доменов...

Бизнес на сайте! Бизнес на сайте!
Замечательным наблюдением относительно типичных схем ведения бизнеса в интернет поделилась Ольга Викторовна. Несмотря на то, что “растолкован” данный бизнес с изрядной долей сарказма, в изобретательности авторам данного проекта не откажешь.

Оптимизация форума под поисковые системы. Часть 2
Часть первая Оптимизация текстового наполнения Чтобы облегчить оптимизацию форума, необходимо придерживаться стратегии поддержки тематической целостности отдельных страниц (одна страница - одна тема). Необходимо выделить несколько тем внутри специализации форума. Далее на каждую страницу следует ... Читать


Комментарии пользователей
Для того чтобы оставить комментарий нужно залогиниться

Добавить комментарий

Ваше Имя:
Ваш E-Mail:
Код:
Включите эту картинку для отображения кода безопасности
обновить, если не виден код
Введите код:

Френдзона


Видео материалы



Как сортировать много email информации?!...
Наверное каждому человеку который работает в сети интернет, приходит достаточно много лишн...

4 модели высокоприбыльного онлайн-бизнеса...
Меня постоянно одолевают вопросами: \"Какую модель онлайн-бизнеса мне стоит выбрать? Может...

Как избавиться от каши в голове / Урок 4...
Видеоурок # 4. Синхронизация Google календаря с программой SunbirdВ четвертом уроке мы с ...

Как избавиться от каши в голове / Урок 3...
Видеоурок # 3. Доступ к календарю с мобильникаВ третьем уроке мы с вами узнаем как можно ...

Как избавиться от каши в голове / Урок 2...
Видеоурок # 2. Работа с Google календаремКак понятно из названия, во втором видео мы с вам...

Как избавиться от каши в голове / Урок 1...
Видеоурок # 1. Простой рецепт \"свежей\" головыВ первом видеоуроке мы с вами познакомимся....

Конкуренция в интернет-бизнесе: достойная...
Видео-подкаст о том, почему волнение о конкуренции это полный идиотизм....

Формула Толстокожести Или Как Себя Вести,...
Успех в интернет-бизнесе имеет побочный эффект. Он может кому-то не понравится… Вы мо...

ВИДЕО: Секреты e-mail маркетинга прямиком...
Факт! Если бы моя мама вела свой интернет-бизнес, в e-mail копирайтинге она бы переплюнула...


Информация

Нам часто пишут и задают один и тот же вопрос, "Работа в сети это реально?" или "С чего начать свой заработок в сети?"... Уважаемые! Для этого и был создан этот сайт, пожалуйста пользуйтесь поиском и читайте заметки и статьи. Советую начать с раздела "Работа в интернете", там находиться больше +250 статей и больше +500 способов заработка в интернете. С какого начать? Где больше денег? Это уже решать Вам! Работайте там - где Вам интересно работать и тогда у Вас все получиться. А если, что-то не понятно комменируйте статьи и мы ответим на ваши вопросы! Удачного начала!


Это интересно


Новое


Опрос

Какой Формат Книг Для Вас Лучше?

Exe формат
Pdf формат
И тот и тот
Оффлайн


Топ комментов

Alex V
Работа и труд, все перетрут!
ICQ: 206983285
комментариев: 83

Mhz-Serge
Жизнь - это хорошо сделанное 3D
ICQ: 318057
комментариев: 29

rombel
Все будет хорошо
ICQ: 393549222
комментариев: 13

Alem

ICQ: 444688221
комментариев: 5

Yury_md

ICQ:
комментариев: 4