Что? Где? Когда? Яндекс в ноябре 2012

Поисковые системы, не зависимо от того, умелые руки пользователя или нет, по мере ввода запроса подставляют наиболее популярные варианты. Сегодня пойдет речь не о популярной телепередаче, а поисковой выдаче Яндекса. Например, я Яндексе пользователи Интернета ищут ответы на свои вопросы из разряда: «Что делать», «Как называется», «Когда будет» и т.д. Читать далее

Директивы, запреты и проверка robots.txt

Ранее, мы рассмотрели  основные операторы Disallow и User-Agent – именно они чаще всего используются в файле «robots.txt». Теперь подробнее остановимся на том, как лучше использовать их совместно, и какие правила необходимо соблюдать, чтобы всё работало так — как задумано. Оператор Disallow запрещает доступ поисковым роботом к папкам, файлам, директориям в названиях которых встречаются определенные сочетания символов или единичные символы. Читать далее

Файл robots.txt — зачем он?

Если ваш ресурс не входит в топы по популярности и узнаваемости, тогда основные посетители приходят на него через поисковые системы. При создании нового веб-сайта, необходимо уделить внимание индексации поисковиками, такими как Яндекс и Google. Сложная и постоянно пополняющаяся база данных поисковых гигантов пополняется благодаря поисковому роботу. Робот запрашивает страницы с сайтов, индексирует, отслеживает изменения и в этом, не маловажную роль играет файл robots.txt именно его запрашивает в первую очередь индексирующий робот. Читать далее