Как определить наличие файлов на удаленном сервере, с помощью распараллеливания?

Question

[Alexander Muxalich]

Здравствуйте, стоит задача определить наличие файлов на удаленном сервере.
Сейчас используется

$ch = curl_init($url);
curl_setopt($ch, CURLOPT_NOBODY, true);
curl_exec($ch);
$code = curl_getinfo($ch, CURLINFO_HTTP_CODE);

if($code == 200){
$status = true;
}else{
$status = false;
}
curl_close($ch);

- на определение одного файла уходит 0.2 секунды. А на странице где я делаю проверку - минимум 50 файлов, в следствии чего страница грузиться по 10 секунд. Удаленный сервер - selectel cdn storage, php-скрипты на нем выполнять не могу. Собственно вопрос возможно ли распаралелить определение наличия файла ?

Возможно посоветуете другой способ.

Спасибо, за помощь, остановился на варианте, создать таблицу проверка файлов, при отображении файлов сначало смотреть в таблице, если в ней файлы есть, то их не проверять, если файлов нет, то проверяем через curl_multi. При изменении файла удаляем запись из таблицы.
Перед этим каждый раз проверяем доступность хостинга, если хостинг не доступен выводим фото по умолчанию.

Answer 1

[Shaks]

Такие задачи нужно делать в фоне по какому-то расписанию или определённым событиям. И обязательно вести логи.
Это сейчас у Вас 50 файлов (а в будущем может 500 будет, кто знает), и у вас все работает как должно работать. А случись что с ДЦ? фаза луны не та? у вас вобще всё повиснет, т.к. на каждый запрос будет уходить выставленный таймаут в курле (30 сек по умолчанию помоему).

Ну и гляньте еще в сторону multicurl
php.net/manual/ru/function.curl-multi-init.php

Comments

[Alexander Muxalich]

Про таймаут не знал спасибо подсказали. curl-multi - сейчас посмотрю. Возможно это решение моих проблем.

[Alexander Muxalich]

Подскажите, а флаг CURLOPT_NOBODY - просто вырезает содержимое тела ответа ? Или ответ идет только с заголовком, т. е. идет ли фактическая передача файла на сервер ?

[Shaks]

нет, тело не читается:
Setting CURLOPT_NOBODY to "true" with curl_setopt sets the request
method to HEAD for HTTP(s) requests,
curl.haxx.se/mail/curlphp-2008-03/0072.html

[Alexander Muxalich]

Спасибо, за помощь, остановился на варианте, создать таблицу проверка файлов, при отображении файлов сначало смотреть в таблице, если в ней файлы есть, то их не проверять, если файлов нет, то проверяем через curl_multi. При изменении файла удаляем запись из таблицы.
Перед этим каждый раз проверяем доступность хостинга, если хостинг не доступен выводим фото по умолчанию.

[Shaks]

да. только это все надо делать в фоне )
т.е. пишешь скрипт, обычный, консольный. и запускаешь его кроном раз в 1-5-10 минут, и у тебя всегда будут актуальные данные.

Answer 2

[Дмитрий Энтелис]

1) Как правильно написал Shaks - такие вещи надо делать в фоне
2) Для работы в параллели посмотрите например на форки habrahabr.ru/post/148688

Answer 3

[2vtlk]

Можно попробовать использовать fsockopen, он гораздо быстрее отрабатывает, но все-равно лучше делать это параллельно.