Яндекс объявил об отмене директивы Host в Robor.txt. Теперь эту директиву можно удалять из robots.txt, но важно, чтобы на всех не главных зеркалах вашего сайта теперь стоял 301-й постраничный редирект.

Так же в Яндексе рассказали о наиболее распространенных ситуациях, связанных с этим:

I Мне нужно переехать на новый домен или протокол, переезд я еще только планирую

• поставьте постраничный 301-й редирект
• зайдите в Вебмастер в инструмент «Переезд сайта», укажите новое главное зеркало
• подождите, обычно переезд занимает несколько дней

II Мне нужно переехать на новый домен или протокол, переезд я уже начал

Аналогично I пункту:

• поставьте постраничный 301-й редирект
• зайдите в Вебмастер в инструмент «Переезд сайта», укажите новое главное зеркало: если вы сделали это ранее — данный пункт можно пропустить
• подождите, обычно переезд занимает несколько дней

III Мне нужно переехать на новый домен или протокол, но я не могу использовать 301-й редирект

• добавьте новый сайт в Вебмастер
• используйте «Переезд сайта»
• подождите, в таком случае переезд может занимать несколько недель

IV Мне не нужно никуда переезжать, нужно ли мне что-то менять, редирект я поставить могу

• проверьте, чтобы на всех неглавных зеркалах вашего сайта стояли постраничные редиректы на главные, это позволит прямо указать роботу на нужный вам адрес в поиске

V Мне не нужно никуда переезжать, нужно ли мне что-то менять, редирект я поставить не могу

• нужно понимать, что главное зеркало в таком случае может быть выбрано на усмотрение робота: в случае смены главного зеркала воспользуйтесь «Переездом сайта»

VI Нужно ли ставить редирект для мобильных версий сайтов

• как и ранее, ставить редирект для мобильных версий сайтов не обязательно: мобильная версия может быть или доступна для основного робота, или осуществлять редирект на основную версию сайта

VII Что делать, если мои зеркала все-таки изменились из-за того, что не был установлен 301-й редирект

Совершите переезд аналогично I пункту:

• поставьте постраничный 301-й редирект на нужный адрес
• зайдите в Вебмастер в инструмент «Переезд сайта», укажите новое главное зеркало
• подождите, обычно переезд занимает несколько дней

VIII Что делать с директивой Host

• её можно удалить из robots.txt или оставить, робот её просто игнорирует