Как выполнить 100к запросов к php скрипту? Как будет быстрее?

Question

[generate]

Создать один файл обработчик и создать 10 файлов которые будут с циклом запускать его. Или созадть 10 обработчиков так как к одному обработчику будет загрузки слишком много ?

Вообще не понимаю как быстрее отправить столько запросов, один запрос обрабатывается около 3 секунд. Это парсер он должен парсить информацию и добавлять в бд.

Answer 1

[Dimonchik]

сделай один и посмотри, не треснет ли

потом меняй если надо

Comments

[generate]

Я уже отправил 70к, осталось 100, но эти 70к я очень долго уже паршу

Answer 2

[Олег]

Вы спешите попасть в бан на сервере ? и потом искать ответ на вопрос где взять прокси ?
Донор на битриксе ? тогда Вам задержки прикручивать придется.

И вообще парсить - зло. В robots.txt Crawler delay сколько ? Чаще не надо. Свыше 50 потоков в 99% положат источник.

Comments

[generate]

Сделал 40 потоков по 20 запросов каждые 30 секунд

[generate]

Уже спарсил довольно много

[Олег]

Значит автобан админ не стал настраивать.

[generate]

не там красиво сделал с курл чтобы генерировал все что есть а так с пару запросов проверку на робота вылазила

[Олег]

https://freehost.com.ua/faq/articles/zaschita-serv...

[generate]

У яндекс сервисов думаю защита покруче )