Алексей Сундуков

некорректный скрипты запуска/перезапуска debian

init скрипт бывает рапортует, что сервер был остановлен. По факту это не так. Если после этого попытаться его через init запустить еще раз, то скрипт думает, что сервис не работает и повторно его стартует упираясь в ошибку bind. На сколько я помню проблема возникает когда в runtime файл записался некорректный PID процесса. Т.е. проблема может быть решена просто переписыванием init скрипта.

Что бы парсер сам запускался подходит cron. Но как я понимаю суть вопроса в другом: "как быстро парсить ХХ сайтов". Мультипоточно. mCurl в помощь.

Для ориентирования по скорости приведу используемую мной схему. У меня почти 42 000 URL на проверке. Перед началом работ они складываются в Redis в виде стека (что бы потом параллельные потоки не скачали одну и туже страницу несколько раз). После чего по cron через bash запускается 10 php скриптов, каждый за раз качает 100 адресов, парсит данные со страницы через DOM, полученные данные пишет в базу. Т.е. кроме скачки страниц тут еще и медленные операции как то построение DOM и запись в РСУБД. На все уходит менее 20 минут, т.е. минимальная скорость около 30 страниц/сек.

В контексте "возникла необходимость на определённые действия пользователя сделать задержку" код sleep (10) эквивалентен setTimeout(function(){/*some code*/, 10} (особо подчеркиваю, по логике, а не по реализации в языке!).

Входных данных не много, но мне так видится, то движение в сторону libevent тупиковое. Заходить нужно совершенно с другой стороны.

Возможно сервер входил/входит в состав бот сети. А это команды. Предположу, что на сайте стандартный WP, Joomla, либо какой другой массовый софт. Статус отличные от 404 намекают, что движок на эти запросы что-то сделал и даже ответил.

curl в данной задаче быстродействия не даст.

Отличная либа это Imagine.

Мануала просто за глаза.

А если задать:
error_log /var/log/nginx/$host.log error;
?

Разница в разной схеме реализации взаимодействия двух программ. В чем она заключается вам в принципе знать не нужно.

1) На уровне PHP нет.
2) Вносят неудобство в работу. На производительность в принципе не влияют.
3) Да. Но смысла не имеют, см. п.1.
4) Лучше использовать механизмы предоставляемые ОС. Банально корректно права на файлы расставить, использовать php-fpm и запуск от заданного юзера и прочее.

Качаем страницы curl-ом, нормализуем через tidy, строим DOM и через XPath парсим нужные данные.

Скорее всего снесся openssl с сопутствующими библиотеками.

@deadbyelpy проверить можно так:

# dpkg --list | grep ssl
ii  libssl-dev                         1.0.1e-2+deb7u5               amd64        SSL development libraries, header files and documentation
ii  libssl-doc                         1.0.1e-2+deb7u5               all          SSL development documentation documentation
ii  libssl0.9.8                        0.9.8o-4squeeze14             amd64        SSL shared libraries
ii  libssl1.0.0:amd64                  1.0.1e-2+deb7u5               amd64        SSL shared libraries
ii  openssl                            1.0.1e-2+deb7u5               amd64        Secure Socket Layer (SSL) binary and related cryptographic tools
ii  ssl-cert                           1.0.32                        all          simple debconf wrapper for OpenSSL

Из того что можно ставить на свой сервер такого нет. Причем тут проблема даже не техническая, а организационная. Потому что в каждого поставщика свой формат и кому-то нужно это все в ручном/полуавтоматическим режиме сводить в один каталог.

Но в виде сервиса - Яндекс.Маркет например.

Все просто. PHP программист пишет PHP код. Не perl код. Не, боже упаси, еrlang (который лично я очень люблю, но он требует другого мозга). И уже явно не JavaScript код. Поэтому исправляют зря. Первоначальная формулировка, исходя из описания имхо, более точна.

Его нет. Номера к нужному формату нужно приводить самостоятельно.

При указывании не URL а ип сервера - работает корректно.

Возможно два варианта:
1) Проблемы резолвинга на уровне php. Проверить можно:

<?php
echo gethostbyname('ya.ru');

Если вылезла ошибка в духе "getaddrinfo failed", то решение тут.

2) Проблемы резолвинга на уровне локальной DNS (отдается некорректный адрес к примеру). Тут уж решение на уровне DNS сервера.