20 марта 2018 г. Яндекс в своем блоге для вебмастеров сообщили, что полностью отказываются от использования директивы Host. Отказ производится в пользу 301-го редиректа, который, по словам программистов компании, его полностью заменяет.
Директива Host, прописанная в инструкции robots.txt, больше не будет влиять на индексацию ресурса поисковым роботом и строку можно просто удалить из файла. Всем, кто еще не настроил 301-редирект, Яндекс отправил сообщение в Вебмастере.
Что делать если Вы получили такое уведомление?
Самое главное – сохранять спокойствие. При получении такого уведомления, нужно проверить наличие постраничных редиректов на основное зеркало. Если этого не сделать, то поисковая система будет самостоятельно выбирать главное зеркало.
Что делать теперь если Вы решили сменить домен или протокол?
Чтобы избежать склеивания домена, первым делом необходимо настроить постраничное перенаправление на главное зеркало каждой данной страницы. Затем, для ускорения понимая поисковой системой того, какое зеркало основное, необходимо его указать в инструменте Вебмастера «Переезд сайта». Но даже после такой процедуры придется ждать несколько дней.
Если же поставить перенаправление нет возможности, URL также необходимо добавить в инструменте «Переезд сайта» и большего ничего не требуется, но следует учитывать, что в таком случае переезд займет гораздо больше времени.