Быстрый парсер кодов ответа сервера для 1 млн сайтов. Пока что выбрал PHP?

Question

[Jo Jo]

Доброго времени суток. Вопрос такой, собираюсь сделать простой, но быстрый парсер заголовков ответов серверов и парсинга главных страниц примерно для 1 миллиона сайтов. Пока что выбор пал на PHP, так как для него есть удобная библиотека CURL (для парсинга главных страниц). Но смущает то, что скрипт PHP довольно быстро упирается в ограничения nginx. Придется продолжать парсинг в несколько итераций и создавать дополнительную нагрузку на базу. Да и не предназначен PHP для таких долгих задач по своей сути.
В идеале выполнять парсинг каждый день. Как думаете, стоит попробовать что-то еще, или выбор в сторону PHP правильный?

Comments

[FanatPHP]

Стесняюсь спросить, а при чем здесь nginx?

[sim3x]

curl - программа на Си
Для курла есть биндинги на всех ЯП

[Jo Jo]

FanatPHP, сейчас большинство серверов работает на ngix, настроить свой я не в силах)

[FanatPHP]

Если до сих пор непонятно, парсер миллиона сайтов и nginx - это вещи никак между собой не связанные. Это как спросить "я тут банку майонеза нашел, но в нее огурцы не помещаются".

Что в целом говорит нам о том, что "мильён сайтов" - это влажные эротические мечты, вообще никак не связанные с реальностью.

[Jo Jo]

FanatPHP, ну как не связаны, когда делал онлайн сервис по парсингу ссылок, все упиралось в ограничения ngix. Но сделал, через Cron переодически запускает, все работает, хоть и не очень быстро. Не уточнил, что парсер будет в виде онлайн сервиса с web интерфейсом.

[FanatPHP]

Да без разницы с каким интерфейсом.
интерфейс к парсеру вообще никакого отношения не имеет. Ну разве только если в таких вот поделках игрушечных

[Randewoo]

Еще, как вариант, сделать все на JS на клиенте.
Зачем убивать сервак, если можно убить сотни, а то и тысячи клиентов?))))

Answer 1

[ArgosX]

Для данного случая рассмотрите вариант python,nodejs,go

Answer 2

[Виталий]

по мне эта задача в разы лучше ложится под node.js

Answer 3

[Дмитрий Шицков]

Если про быстроту, то я бы выбрал golang. Там задачи легко асинхронность и параллелить.
На втором месте будет нода, но с использованием какого-нибудь
µWebSockets.

Comments

[Виталий]

libuv подымаешь треды на максимум, юзаешь ноду и думаю не особо нужно uws

[Дмитрий Шицков]

Виталий, Добавьте в свой ответ. Я с нодой очень поверхностно знаком.

Answer 4

[Randewoo]

Погуглите про асинхронный cURL в PHP, и, если есть возможность, запускайте PHP через консоль. При запуске через консоль отсутствует ограничение по тайм-ауту, соответственно, никакой нагрузки не будет, сам так делал на очень слабенькой VDS.

Comments

[FanatPHP]

Мне нравится эта оговорка, "если есть возможность".
Вы явно в теме, и догадываетесь, что мечтатель с миллионом сайтов запускает свои скрипты на шаред хостинге за 5 копеек :)

[Randewoo]

FanatPHP, у меня VDS за 5 копеек с гигабитной сеткой, 1 целым ядром и 2 ГБ рамы. Кто кого?)

[Jo Jo]

FanatPHP, более того, я даже не знаю, как запускать PHP из консоли) Но знаю ООП и пишу простые скрипты. Вы тоже наверняка не с пеленок все это освоили.

[FanatPHP]

я не пытался с пеленок писать сервис на миллион запросов

[Jo Jo]

FanatPHP, ну на 1000 запросов я уже написал.

[Jo Jo]

Randewoo, это OpenVZ или KVM виртуализация у Вас?

[Randewoo]

michael_novikov, KVM

[Jo Jo]

Randewoo, а есть принципиальная разница, какую ОС ставить, centOS или Ubuntu? У Вас какая на VDS?

[Randewoo]

michael_novikov, раньше сидел на Debian 8, 9, поверил бенчмарку на Хабре, потом перешел на Ubuntu 18.04, потому что там ставятся все новые пакеты, что мне и требовалось.
На Debian'e все приходилось собирать самому...

Answer 5

[Артур]

Чтобы парсить можно запускать из консоли, какие тогда ограничения nginx?

Но вообще, присоединяюсь к голосующим за go, python

Comments

[Jo Jo]

Хочется сделать все это в виде онлайн сервиса.

[Артур]

michael_novikov, ктож мешает, в консоли паристе, кладете в базу, другим скриптом это все отображаете.

В режиме реалтайм парсить 1млн сайтов очень сомневаюсь что получится))

[Jo Jo]

Артур, в режиме реалтайм и не требуется. Раз в сутки чтобы пробегался по сайтам, и отлично.