На каком языке будет быстрее парсить?

Question

[Кирилл]

Вот есть список из 5к сайтов, и через веб форму его добавляют в обработку в PHP скрипте. В одной строке содержится URL:LOGIN:PASS , скрипт заходит, логинится и проверяет права пользователя, а именно загружает 3 страницы (посредством библиотеки cURL) и из одной из них строит DOM модель посредством simple_html_dom parser и результат записывает в файл(или в БД), но на PHP это делается очень долго, и будет выкидывать по превышению времени работы скрипта. Как лучше и на каком языке это можно сделать для ускорения процесса проверки, или хотя бы можно сделать многопоток на PHP? Посоветуйте пожалуйста или ткните где почитать. Заранее благодарен.

Answer 1

[Sly_tom_cat .]

Да в принципе можно на любом - главно многопоточность использовать.

Answer 2

[g00dv1n]

Go

Answer 3

[sim3x]

Задержки на сети в разы больше времени парсинга

Кроме как запускать одновременно парсинг на 100+ сайтов никак "ускорить" не получится

Для питона scrapy умеет делать такое из коробки

Comments

[sim3x]

prospero78su: Конкретнее?

[sim3x]

prospero78su: проблема будет если каждый хтмл будет весить больше 10мб

Тогда придется настроить парсер

Больше никаких ньюансов не добавится

Время на сеть >>> времени парсинга

[sim3x]

prospero78su: Я указал результат из практики

[sim3x]

prospero78su: ?

[Александр]

prospero78su: Ну а реально, сколько у вас сейчас времени занимает загрузка, а сколько парсинг? У меня парсинг инстаграм идёт. Так вот у меня ограничитель — скорость ответа их серверов. Если работать из кеша, то время сокращается на 99%.

Answer 4

[Deerenaros]

Когда речь идёт об обработке удалённых ресурсов критически важным становится стабильность и качество соединения, его производительность, а также производительность удалённых ресурсов. Если реализовать на Си максимально эффективный парсер сайта, который будет жевать его, допустим, за 1мс и точно такой же на каком-нибудь жирнющем пайтоне, у которого на обработку уйдёт, допустим, 15мс, очевидно эти числа ничто по сравнению со временем, которое будет затрачено на подключению и загрузку требуемого документа: 100мс на подключение, 1мб/10мбпс, итого 200мс только на то, чтобы получить документ, который может ещё с ошибками приехать или не не приехать вовсе, а удалённому серверу ещё и время потребуется, чтобы его обработать.

Итого важным становиться максимально асинхронная работа с загрузкой документа, а его обработка может занимать столько же, сколько идёт загрузка, ибо оная является узким горлом быстрее которого обработать не получится. Некоторым выходом может быть запуск параллельных процессов (потоков) на различные ресурсы, но злоупотреблять этим не стоит, так как ваш канал не резиновый и качество соединения может во много раз упасть, да и у системы есть серьёзные ограничения на количество одновременных соединений.

Comments

[Bjornie]

Deerenaros дельный и полезный ответ.

[Deerenaros]

prospero78su: Прога на Си будет парсить 1мс, но она ни как не будет скачивать данные за 1мс, тут всё зависит от канала и серверов. И будет просто супер круто если данные успеют скачаться за 60мс. Про оптимизации вообще не понял, основная проблема у пайтона - это интерпретируемость, то есть разогрев очень долгий. Либы в общем-то, да и он сам, реализован на Си/Си++, а курица лапой не есть без оптимизаций, курица лапой есть курица лапой. На Си тоже можно курица лапой писать.

Answer 5

[beduin01]

dlang.org
curl вам не потребуется есть code.dlang.org/packages/requests
От Go после C# вы точно исплюетесь. Это как на Basic перейти.

Comments

[semt1]

Боюсь вы слабо представляете о чем пишете.
Не работали в предметной области.

Парзить сайты можно хоть на JS, хоть на медленном Ruby.
Проблемы со скоростью будут не в коде, а из-за того, что с интернета долго тянет - из за канала связи.
На его фоне даже SlimerJS не медленный.

[beduin01]

semt1, другое дело в том на сколько просто будет сам парсер написать. Еще раз процитирую отзыв о Go:
"Писал парсер на go, получилось в 11 раз (!) больше строк кода, чем на питоне. Забросил go после этого парсера, моё время дороже."

[semt1]

beduin01,
это просто показывает вашу хорошую компетенцию в одном языке программирования.
и плохую компетенцию в другом языке программирования.
и больше ничего это не показывает.

только вот....
зачем это вообще писать самому?
есть готовые удобные инструменты
https://github.com/PuerkitoBio/goquery
https://github.com/PuerkitoBio/fetchbot

[beduin01]

semt1, причем тут мою? Я с кучей людей общался которые пробовали модные Go и все сходятся на том, что на нем писать невозможно. Ну есть конечно разные восторженные идиоты, но они с тем же успехом через год будут от Nim переться.

[niokrokadile]

beduin01, D сдох уже.

Я с кучей людей общался которые пробовали модные Go и все сходятся на том, что на нем писать невозможно

Я так полагаю это были авторы Docker, разработчики Dropbox и другие столько же полезные ИТ-обществу ребята?

А нет, ребята из Dropbox и Cloudflare и Docker не смогли бы такого сказать. Ведь они свои гигантские системы реализовали как раз на Go.

Answer 6

[Igor Kalashnikov]

Язык любой, мне нравится для этих целей JavaScript, а именно Node.js + cheerio(можно будет селекторы из jQuery для парсера использовать ) + Promise (удобно управлять потоками парсера)