Как реализовать рекурсивный запуск PHP на хостинге?

Question

[Rxd]

Имеется хостинг на котором max_execution_time = 30, exec и system отключены. Нужно спарсить где-то 200-300 страниц, при этом скрипт должен вызывается по крону через определенное время. Решил сделать через рекурсию , что-то вроде

$var1 = $_GET["var1"];
... 
curl_setopt($ch, CURLOPT_URL,"http://domain.com/myphp.php?var1="....);
curl_exec($ch);

Но проблема в том, что все отработавшие скрипты остаются "висеть", ожидая ответа, что сильно тормозит весь процесс, да и больше 5 скриптов не дает... Как настроить курлы, чтобы они не ждали ответа? Или может быть есть какие-то более практичные альтернативы?

Answer 1

[Виктор Савченко]

Куда проще будет сменить хостинг или купить VDS, что сейчас есть наиболее популярным. Иначе после решения проблемы с 30 сек, вас начнут "трясти" за нагрузку.
Предлагаю свои услуги в Англии: UAPEER Hosting Solutions

Answer 2

[Dark_Dante]

Делал когда то через сокеты, которые вызывыют сам скрипт

public function exec_script($url, $params = array()){
		$parts = parse_url($url);
	 
		if (!$fp = fsockopen($parts['host'], isset($parts['port']) ? $parts['port'] : 80))
		{
			return false;
		}
	 
		$data = http_build_query($params, '', '&');
	 
		fwrite($fp, "POST " . (!empty($parts['path']) ? $parts['path'] : '/') . " HTTP/1.1\r\n");
		fwrite($fp, "Host: " . $parts['host'] . "\r\n");
		fwrite($fp, "Content-Type: application/x-www-form-urlencoded\r\n");
		fwrite($fp, "Content-Length: " . strlen($data) . "\r\n");
		fwrite($fp, "Connection: Close\r\n\r\n");
		fwrite($fp, $data);
		fclose($fp);
	 
		return true;
	}

Ну а вызов был такой

//теперь нам надо чекнуть ссылку на наличие в базе
				$b=$this->checkBase($hash);
				//если в базе такой страницы не существует
				if($b==false){
					$this->exec_script($addcache_url, array('hash'=>$hash, 'href'=>$href, 'parent'=>$content["id"]));
						
					
				}

Answer 3

[entermix]

Можно парсить пачками, т.е. по несколько страниц за 1 запуск

Comments

[Rxd]

Можно, но проблема все равно остается, за один проход получается максимум 10-15 страниц

[entermix]

Rxd: тогда гуглите на тему многопоточности в CURL

[entermix]

Rxd: artkiev.com/blog/php-curl_multi_init.htm

[Rxd]

entermix: Многопоточность не канает, т.к стоит ограничение на сайте, с которого идет парс. Больше 1 за раз страницы уже идет блок.