Если раньше поисковая система Яндекс не придавала значения порядку расположению директив в файле robots.txt, то скоро настанет время перемен…
Всем веб-мастерам! Спешите проверять ваши robots.txt на соответствия новым стандартам. 🙂
Хотя если вы изначально придерживались международных стандартов, то проблем не будет.
Дело в том, до этого времени Яндекс не придавал значение порядку списка директив разрешающих и запрещающих индексацию (Allow и Disallow соответственно). Просто разрешающая Allow была в большем приоритете. И даже если вы запретите к индексации весь сайт, то это никак не тронет файлы и папки с Allow.
То есть, раньше для Яндекса инструкции вида:
User-agent: Yandex
Allow: /папка_мусор
Disallow: /
и
User-agent: Yandex
Disallow: /
Allow: /папка_мусор
были идентичны и обрабатывались следующим образом: запрет к индексации всего сайта, кроме папки /папка_мусор.
Теперь же (точнее через несколько недель), с переходом на международные стандарты, учитывается порядок. Приоритет, при пересекающихся условиях, раздается первостоящей директории. То есть второй случай теперь будет закрывать сайт от индексации, не обращая внимание на разрешающее Allow.
Будьте бдительны и придерживайтесь стандартов. Изменения вступят в силу через несколько недель.
Успехов в интернете!
