0
На рассмотрении

Инструмент для полного получения списка URL в индексе Google

anonymous 6 лет назад обновлен Пиксель Тулс 6 лет назад 1

Разработать инструмент с возможность. выгрузки всех документов, проиндексированных Google, для заданного домена.

В Search Console такой выгрузки нет
Поисковый оператор site: даёт ограниченный список URL

Два возможных варианта (должны быть и другие решения) получить список всех URL в Google:

  1. Поиск хаб-разделов и пробивка в Google каждого раздела отдельно через оператор inurl. Предварительно добавить get параметр [&filter=0]. 
  2. С помощью GET-параметра перебирать диапазон дат. Если за интервал приходит больше страниц, чем 1000 — сужаем интервал. Можно идти, пока не упремся в дату индексации главной страницы.

Сервис поддержки клиентов работает на платформе UserEcho