Как работают сервисы по поиску email на сайте?

Question

[Ivan Yakushenko]

К примеру, вот результат с hunter(dot)io:


Результат был слишком быстрый, такое ощущение, что у них уже в базе были email (вполне возможно). Но все-же, как происходит первичный сбор? Не парсят-же они тупо все страницы, которые могут найти в поисках тега email, страниц то может быть сотни тысяч, как в случае с хабром.

Comments

[Сергей Горностаев]

Ну, я в своё время за полчаса примерно распарсил всю лепру, собрав внушительную базу email'ов. Так что не вижу особых проблем.

[Ivan Yakushenko]

Сергей Горностаев, то-есть это парсинг и не более? Просто меня удивляет, как быстро я получаю результат какой сайт не закидываю.

[Сергей Горностаев]

Ivan Yakushenko, закиньте какой-нибудь малоизвестный региональный сайт и убедитесь, что в выдаче точно есть конкретный адрес с того сайта.

[Шохрух Шаймардонов]

Ivan Yakushenko, как правило такого рода парсеры работают многопоточно. И соответственно за раз запускаются несколько экземпляров парсера, в итоге вместо 4минут работы одного парсера, получается 1 минута работы 4 параллельных. Тут правило классической физики работает: либо выигрыш в силе, либо во времени.

[Ivan Yakushenko]

Сергей Горностаев, я заметил, что они ищут не по самому сайту, а на внешних ресурсах, к примеру:


И, опять же, выдача мгновенная - максимум пара секунд ожидания.

[Ivan Yakushenko]

Шохрух Шаймардонов, да это понятно, но в случае с этим сайтом нет никаких "минута", есть от силы пара секунд с учетом того, что поиск происходит не по самому сайту, а на внешних источниках.

[Шохрух Шаймардонов]

Ivan Yakushenko, ну тут все зависит от мощности серверов и оптимизированности парсера

Answer 1

[Dimonchik]

парсят + базы + эвристика

вам же никто доставку не гарантирует ))