Как можно найти сайты с подключённым онлайн чатом Битрикс24?

Question

[Максим Макаров]

задача найти сайты в зоне RU на которых есть онлайн чат Битрикс24, проблема заключается в поиски сайтов. Мне в голову пришла идея генерировать url адреса длинною до 10 символов и проверять их, подскажите может есть какое нибудь более оптимальное решения

Задача скрипта найти не менее 1000 сайтов с онлайн чатом.

Comments

[Максим Макаров]

Yokaze, У меня стоит задача и мне её надо решить

[Максим Макаров]

Yokaze, Честно говоря я тоже об этом начинаю задумываться, но посмотрим может у кого нибудь найдётся решения

Answer 1

[Алексей Черемисин]

Максим Макаров, херовая задача, с херовым решением. Я бы за такую не брался, за любые деньги.

1) Выгрузить базу данных российских доменов
1.1) Обработать базу, сдалав url сайтов
2) Написать паука, которой будет хватать корневую страницу сайта (желательно по SSL)
3) распарсить страницу на предмет подключения javascript битрикса
5) подождать недельку-другую, а то и месяцок, и собрать статистику...

ЗЫ. Так как база русских доменов - примерно 5% всех мировых доменных имен, то готовьтесь...
Домены можно получить например так - https://github.com/AlexeyManikin/domain_statistic
Сразу посмотрите в сасом низу....

Далее каждую ночь база данных доменов будет обновляться. На двух процессорах E5-2690v2 с 225 гигабайтами памяти процесс обновления БД з анимает 3-6 часов.

Comments

[Максим Макаров]

Благодарю за ответ, к счастью моё дела написать скрипт а вычленением будет заниматься заказчик

[Алексей Черемисин]

Максим Макаров, ахахаха!!! Я добавил в ответ....

[Алексей Черемисин]

Максим Макаров, Боюсь, Вы взялись за работу, объемов которой просто не представляете.
Если, вдруг, получится, поделитесь рассказом, не побрезгуйте...

[Максим Макаров]

Алексей Черемисин, Ну можно сказать что уже представляю, но соглашусь с вами

[Максим Макаров]

Алексей Черемисин, Ну, пожалуй поделюсь зная что мне потом будет стыдно за мой код, и моё решения, но хочу уточнить хоть и медленно но оно работает, за одну ночь я нашел 178 сайтов из 16785 проверенных

общее количество url адресов в файле почти 5 миллионов

Код

[Алексей Черемисин]

Максим Макаров, Все отлично!
Код нормальный, камментаф бы аффтару добавить.

И мне так кажется Soup здесь лишний, все равно через regexp ищите, будет раз в 10 быстрее (если не больше), скачали страничку, и без парсинга в ней поискали.

И второе, Вы на каждый чих открываете файло cvs, что очень затратно, открыли один раз в начале, и пишете в него (закрыть по окончании), а лучше в базу какую простенькую типа sqlite. Еще сократите на порядок скорость.

И в конце, если использовать базу, то можно в параллель по 10-100 сайтов шарашить, все равно у вас асинхронщика.

PS, ну и так, побурчать - не domens, а domains :)
5 мульенов, маловато как-то, но Вам хватит...
И еще раз, неплохая работа :) Приятно удивлен!

[Алексей Черемисин]

Максим Макаров, И да, если пройдете весь квест, для интереса, сколько битрикс24 из этих 5 будет пользовать, если не секрет... По идее порядка 50 тысяч, судя из прогрессии...