chigan0
@chigan0
back end developer

Как можно найти сайты с подключённым онлайн чатом Битрикс24?

задача найти сайты в зоне RU на которых есть онлайн чат Битрикс24, проблема заключается в поиски сайтов. Мне в голову пришла идея генерировать url адреса длинною до 10 символов и проверять их, подскажите может есть какое нибудь более оптимальное решения

Задача скрипта найти не менее 1000 сайтов с онлайн чатом.
  • Вопрос задан
  • 113 просмотров
Решения вопроса 1
leahch
@leahch
Я мастер на все руки, я козлик Элек Мэк :-)
Максим Макаров, херовая задача, с херовым решением. Я бы за такую не брался, за любые деньги.

1) Выгрузить базу данных российских доменов
1.1) Обработать базу, сдалав url сайтов
2) Написать паука, которой будет хватать корневую страницу сайта (желательно по SSL)
3) распарсить страницу на предмет подключения javascript битрикса
5) подождать недельку-другую, а то и месяцок, и собрать статистику...

ЗЫ. Так как база русских доменов - примерно 5% всех мировых доменных имен, то готовьтесь...
Домены можно получить например так - https://github.com/AlexeyManikin/domain_statistic
Сразу посмотрите в сасом низу....
Далее каждую ночь база данных доменов будет обновляться. На двух процессорах E5-2690v2 с 225 гигабайтами памяти процесс обновления БД з анимает 3-6 часов.
Ответ написан
Пригласить эксперта
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы