Модуль ведения проектов - регулярная проверка доступности для индексации продвигаемого и известных тестовых сайтов

1) В работе иногда возникает ситуация, когда по ошибке программистов продвигаемый сайт оказывается закрытым от индексации. К сожалению, в большинстве случаев уведомление приходит (например, из Вебмастера) - с задержкой. Обычно, к этому моменту уже часть страниц выпадает из индекса, ещё хуже - если проблему заметили когда зафиксирована просадка трафика или позиций.

Предложение: настроить автоматическую ежедневную проверку главной страницы сайта на предмет её "открытости" для индексации:

• Не закрыта ли правилами в robots.txt
• Не закрыта ли мета-тегом robots
• Является канонической


2) Очень часто в индекс попадают дубли - тестовые версии сайта. Часто - их закрывают от индексации, а они через время снова попадают в индекс. Например, из-за того что robots.txt не добавлен в .gitignore - и при обновлении тестовой версии обновляется и robots.txt; или по другим причинам.

Предложение: добавить какое-то место в модуле ведения проектов - куда можно будет добавить список известных тестовых версий сайта. Настроить автоматическую ежедневную проверку всех этих сайтов на предмет соответствия содержимого файла robots.txt вот такому:

User-agent: *
Disallow: /

====

По обоим пунктам - как только проверка не пройдена - на почту приходит уведомление. И приходит ежедневно, пока проблема не устранена.