Мне нужен большой whitelist список IP-адресов хороших ботов таких сервисов, как поисковые системы (google, yandex, bing), социальных сетей (VK, Facebook, Google+, Twitter) и прочих сайтов, которые могут ходить по различным сайтам без плохих намерений. Это могут быть например форумы, которые подгружают превью ссылок, сайты, собирающие различную аналитическую информацию и прочее. Мне интересна любая информация, которая поможет получить такой список. Так же могут быть полезны например список доменов таких сервисов (чтобы потом по DNS A-записям я смог получить IP-адреса), либо скрипт, каким-либо образом собирающий данную информацию.
Простой
Простой
Простой
