Можно ли как то оптимизировать этот php код?

Question

[Jony1337]

Привет.
Не знаю или это говно код или для его выполнения просто нужно много оперативки на сервере .

ini_set('max_execution_time', 900);
for ($i = 3000000 ; $i <= 3000120; $i++)  {
 $next = 'https://example.ru/novosti/politica.php?id='.$i;
 $curl_handle=curl_init();
curl_setopt($curl_handle, CURLOPT_URL,$next);
curl_setopt($curl_handle, CURLOPT_CONNECTTIMEOUT, 2);
curl_setopt($curl_handle, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($curl_handle, CURLOPT_USERAGENT, 'Your application name');
$query = curl_exec($curl_handle);
curl_close($curl_handle);
 $homepage = $query; 
	if (strpos($homepage, 'window.trackErrorPage') !== false) 
{

	$inexistente [] = $i;
} 

else {
	$existente [] = $i;
}

}

я тут время засекал , если он выполнит 1 миллион итераций то это займет 4к часов а это многовато .
В чем дело в железе , в говно коде ?
Если в железе можете порекомендовать как то хостинг где дают сервера на тест хотя бы 1 день что бы было быстрее ?

Answer 1

[Сергей Семенко]

Тут ещё зависит от сервера, на который отправляются запросы. Возможно дело в этом? А вообще такое количество запросов лучше выполнять в несколько потоков.

Comments

[Jony1337]

как в несколько потоков объясните я в этом деле новичок

[Jony1337]

сервер у них мощный это 100 %

[Сергей Семенко]

Jony1337: есть несколько вариантов, вот два из них: запустить сразу несколько скриптов, каждый из которых будет работать со своим диапазоном страниц; использовать multi curl, в google есть много информации об этом.

[Jony1337]

Сергей Семенко: спасибо !

Answer 2

[Rsa97]

А вы откройте браузер, в нём откройте средства разработки, вкладку "сеть" и затем откройте одну из ваших страниц. Посмотрите время её загрузки.
Скажем, эта страница Тостера у меня грузилась ~300мс, соответственно миллион страниц будут грузиться 300'000 секунд или примерно три с половиной дня только на само получение страниц без учёта расходов на работу скрипта.

Comments

[Jony1337]

вот 100 итераций prntscr.com/dq0izf

[Rsa97]

Jony1337: Вы не свой php-скрипт откройте, а страницу сайта, который собираетесь парсить.

[Jony1337]

Rsa97: за 26 сек -> 1 страница

[Rsa97]

Jony1337: Ну если страница https://example.ru/novosti/politica.php?id=... в браузере грузится 26 секунд, то миллион страниц будет грузится 26000000 секунд или 301 день.
А где вы нашли такой тормознутый сайт?

[Jony1337]

Rsa97: может у меня стр. долго грузится и за интернета .

[Rsa97]

Jony1337: Если такой медленный интернет, то и распараллеливание загрузки может не помочь.
Но если я правильно понял цвета на скриншоте, то очень большое время до первого байта (TTFB), а это обычно означает тормоза на сервере, который отдаёт страницу.

[Jony1337]

Rsa97: значит мне нужен удаленный сервер с хорошим железом для выполнения этой задачи ?

[Rsa97]

Jony1337: Нет, если https://example.ru/novosti/politica.php?id=... даёт TTFB в 25 секунд, то виноват example.ru. Со своей стороны вы это не поправите.

[Jony1337]

Rsa97: сделал с многопоточностью и время сократилось с 25-29 до 3 секунд

[Rsa97]

Jony1337: Так вы показали скриншот своего скрипта или загрузки непосредственно одной страницы?

[Jony1337]

Rsa97: скрин был с моего скрипта , а что делать если я хочу сделать больше 10к итераций у меня пишет Сайт временно недоступен это хостинг не дает мне использовать слишком много оперативки ?