Ремонты цифровой техники
Вернуться:
Дополнительно
Поиск по сайту
поиск

Правильный robots txt

Необходимой составляющей сайта должен быть правильный robots txt, о том как его составить, расскажу в этой статье. Так же можете воспользоваться моим сервисом и создать robots txt онлайн.

Для начала отмечу что файл может называться только robots.txt и находиться в корневой директории вашего сайта, там же где лежит index.php. Другие формы написания типа Robots.txt или Robots.TXT являются ошибочными и индексация сайта robots txt может пройти не взирая на директивы robots txt которые вы указали. Так же хочу отметить что логика, которую вы хотите указать для поисковых роботов в файле robots txt должна быть как можно более простой. На простом примере в теории указание одновременно двух директив вида

Disallow: /article
Allow: /articleS

позволит индексировать путь /articleS123 , но на практике с некоторыми поисковиками могут возникнуть проблемы, поэтому старайтесь избегать применение сложных условий, а писать предельно четко и ясно. Директивы обрабатываются своей программной логикой, чем она будет проще тем меньше вероятность возникновения ошибок.


Опубликовано 2016-02-24 02:17:16