Ранее, мы рассмотрели  основные операторы Disallow и User-Agent – именно они чаще всего используются в файле «robots.txt». Теперь подробнее остановимся на том, как лучше использовать их совместно, и какие правила необходимо соблюдать, чтобы всё работало так — как задумано. Оператор Disallow запрещает доступ поисковым роботом к папкам, файлам, директориям в названиях которых встречаются определенные сочетания символов или единичные символы. Читать далее →

Если ваш ресурс не входит в топы по популярности и узнаваемости, тогда основные посетители приходят на него через поисковые системы. При создании нового веб-сайта, необходимо уделить внимание индексации поисковиками, такими как Яндекс и Google. Сложная и постоянно пополняющаяся база данных поисковых гигантов пополняется благодаря поисковому роботу. Робот запрашивает страницы с сайтов, индексирует, отслеживает изменения и в этом, не маловажную роль играет файл robots.txt именно его запрашивает в первую очередь индексирующий робот. Читать далее →