Существует ли список IP адресов поисковых систем?

Question

[weranda]

Приветствую

Существует ли актуальный список IP-адресов поисковых систем? Да такой, чтобы был всегда актуальным. Может быть они (ПС) публикуют где-то такие данные или это закрытая информация, публиковать которую никому не нужно и как хочешь, так и вертись в сборе IP-адресов?

Comments

[sim3x]

Зачем собирать их ип?

Answer 1

[Lander]

Обычно по User Agent их определяют.

Answer 2

[Вася Пупкин]

в юзерагенте указывается бот

Answer 3

[Dimonchik]

существует
такой что всегда - нет

определяют не по юзерагенту, а по reverse DNS, это тоже быстро - Гугл ходит буквально с 2-4 подсеток

Answer 4

[Ильгиз]

Если нужны именно ip то этот способ подойдёт.
Самый простой способ - это найти номер автономной системы (AS) поисковика. Для яндекса это выглядит примерно так - ipinfo.io/AS13238#blocks. Номер автономки можно узнать по whois айпишника.