Столкнулся с тем, что свежие страницы висели в индексе неделями, а Google упорно их игнорировал. Перепробовал кучу способов: ручная отправка через Search Console, добавление в карту сайта, даже накрутка ссылок с дропов. Результат — ноль. Тогда я начал тестировать индексатор ссылок онлайн бесплатно и понял, что дешёвые решения часто приносят больше вреда, чем пользы: некоторые сервисы откровенно сливали лимиты API Google, и аккаунт банили.

В поисках нормального инструмента я наткнулся на один форум, где активно обсуждали массовая индексация url сайта через редиректы. Суть оказалась проста: нужно не тупо отправлять URL, а имитировать поведение бота. Нашёл я тогда ссылку на liveinternet.ru в разделе tags, где парни разбирали механику работы разных сервисов. В частности, они хвалили подход, при котором запросы идут через верифицированный домен-посредник. Тот самый метод, который использует https://www.liveinternet.ru/tags/IndexerPro/ — там каждый URL гоняют через редирект, а система честно подтверждает, был ли реальный визит краулера, а не просто факт отправки.

После этого я перестал верить рекламным обещаниям и начал сам тестировать индексация url онлайн сервис на живых проектах. Результаты оказались предсказуемыми: только те системы, которые гарантируют возврат средств за неотправленные боты, работают адекватно. За месяц с помощью подхода с редиректами и автоматическим возвратом баллов я подтянул индексацию 12 тысяч страниц, причём стоимость каждого URL оказалась ниже 15 копеек. Самое смешное, что раньше я переплачивал за видимость работы, а сейчас получаю отчёты с точными датами визита паука.