Multi_curl пропускает запросы, почему?

Question

[Suxoi]

Есть скрипт, вроде работает, но пропускает от 1-5% запросов, а нужно чтобы были загружены 100%
В чем может быть причина?Или какая-то альтернатива?

const THREADS = 30;
       const  TIMEOUT = 20;
        unset($urls_pack);
	$data = [];
	$urls_pack = [ ];
	for( $i = 0; $i < count( $org_data ); $i = $i + THREADS ) {
		$urls_pack[] = array_slice( $org_data, $i, THREADS );
	}
	foreach( $urls_pack as $pack ) {
		$mh = curl_multi_init();
		unset( $conn );

		foreach( $pack as $i => $url ) {
			$conn[ $i ] = curl_init( trim( $url[ 'url' ] ) );

			curl_setopt( $conn[ $i ], CURLOPT_RETURNTRANSFER, 1 );
			curl_setopt( $conn[ $i ], CURLOPT_TIMEOUT, TIMEOUT );
			curl_setopt( $conn[ $i ],  CURLOPT_HEADER, false);
			curl_multi_add_handle( $mh, $conn[ $i ] );
		}
		$active = null;
		do {
			usleep( 5000 );
			$mrc = curl_multi_exec( $mh, $active );
		} while ( $mrc == CURLM_CALL_MULTI_PERFORM );

		while ( $active && $mrc == CURLM_OK ) {

			if ( curl_multi_select( $mh ) == -1 ) {
				usleep( 10000 );
			}

			do {
				$mrc = curl_multi_exec( $mh, $active );
			} while ( $mrc == CURLM_CALL_MULTI_PERFORM );
		}

		foreach( $pack as $i => $url ) {
			$result = curl_multi_getcontent( $conn[ $i ] );
			$current_data = json_decode( $result, true );
			if( !$current_data ) {
				continue;
			}
			foreach( $current_data as $item ) {
				.........
			}

		}
		curl_multi_close( $mh );
	}

Answer 1

[4utka_pyan]

Может не пропускает, а просто ответ не приходит, или приходит с таймаутом превышающим допустимый? Альтернатива - проверять на корректность ответа каждый ответ и если он не пришёл делать запрос повторно, правда с Multi_curl как раз это несколько геморно проще сделать в одном curl но несколько параллельных скриптов тогда уж.

Comments

[Suxoi]

4utka_pyan Скорее всего так и есть, но я уже поставил таймаут 20 сек, а через curl с 2 млн ссылок,я буду пару месяцев получать данные

[4utka_pyan]

Suxoi: какие 2 месяца? у меня в однопоточном режиме 140 запросов в минуту где-то, 10 скриптов моно параллельно запустить легко, итого 2 млн ссылок скачаются за 23 часа

[Suxoi]

4utka_pyan Нужно написать один скрипт, плюс в скрипте присутсвтует выгрузка, обновление и добавление в БД, что исключает из себя 10 одинаковых скриптов, но с разными chunk. Сейчас я уже задаюсь вопросом не перейти ли на nodejs

[4utka_pyan]

Suxoi: У меня тоже задействована БД была и я брал из неё данные и в ней же обновлял по результатам. Почему работа с БД исключает 10 одинаковых скриптов? nodejs? Переходите конечно но смысл? Для php это ерундовая задача...

[Suxoi]

4utka_pyan Я считаю бредом на сервере плодить десятки скриптов, когда можно сделать один, плюс скрипт пишется один раз, чтобы добавил в CRON и забыл, а если в БД появится еще млн записей, нужно будет 5 скриптов дописывать?

[4utka_pyan]

Suxoi: ну это php, переходите на другой язык - не придётся плодить скрипты