Алексей Сундуков

Это конечно же велосипед, но если хочется его написать, в чем проблема? Пишите.

Велосипед это по одной простой причине. Люди с большим опытом парсинга и так уже имеют свои наработки (к примеру, у меня есть кастамизируемый парсер загрузки каталогов добавление к которого нового сайта занимает 1-4 часа) и им велосипед не нужен. А люди без опыта скорее всего воспользоваться адекватно им не смогут.

Преложенные выше серверы очередей хорошо, но есть минус. Для данной задача оно избыточно. Как минимум придется раскуриться настройкой сервера и как с ним взаимодействовать.

Предложенная схема с базой неплохая, но в ней потенциально заложена повторная проверка если п.2 запускается в несколько копий. Поэтому более правильный вариант это использовать Redis. У меня так: Как сделать «фоновый» парсинг?

Т.е. смысл в том, что бы очередь url на загрузку формировалась в однопоточном режиме, а сами закачки многопоточны. Тогда скрипт качающий страницы может быть запушен в стольких копиях, сколько у вас потянет сервер и не нужно будет боятся повторной загрузки (у меня каждую минуту запускается новая копия скрипта и так до тех пор, пока очередь не станет пустой). Схема крайне легко маштабируется как в рамках одного сервера, так и нескольких.

Что бы парсер сам запускался подходит cron. Но как я понимаю суть вопроса в другом: "как быстро парсить ХХ сайтов". Мультипоточно. mCurl в помощь.

Для ориентирования по скорости приведу используемую мной схему. У меня почти 42 000 URL на проверке. Перед началом работ они складываются в Redis в виде стека (что бы потом параллельные потоки не скачали одну и туже страницу несколько раз). После чего по cron через bash запускается 10 php скриптов, каждый за раз качает 100 адресов, парсит данные со страницы через DOM, полученные данные пишет в базу. Т.е. кроме скачки страниц тут еще и медленные операции как то построение DOM и запись в РСУБД. На все уходит менее 20 минут, т.е. минимальная скорость около 30 страниц/сек.

В контексте "возникла необходимость на определённые действия пользователя сделать задержку" код sleep (10) эквивалентен setTimeout(function(){/*some code*/, 10} (особо подчеркиваю, по логике, а не по реализации в языке!).

Входных данных не много, но мне так видится, то движение в сторону libevent тупиковое. Заходить нужно совершенно с другой стороны.

Отличная либа это Imagine.

Мануала просто за глаза.

Разница в разной схеме реализации взаимодействия двух программ. В чем она заключается вам в принципе знать не нужно.

1) На уровне PHP нет.
2) Вносят неудобство в работу. На производительность в принципе не влияют.
3) Да. Но смысла не имеют, см. п.1.
4) Лучше использовать механизмы предоставляемые ОС. Банально корректно права на файлы расставить, использовать php-fpm и запуск от заданного юзера и прочее.

Скорее всего снесся openssl с сопутствующими библиотеками.

@deadbyelpy проверить можно так:

# dpkg --list | grep ssl
ii  libssl-dev                         1.0.1e-2+deb7u5               amd64        SSL development libraries, header files and documentation
ii  libssl-doc                         1.0.1e-2+deb7u5               all          SSL development documentation documentation
ii  libssl0.9.8                        0.9.8o-4squeeze14             amd64        SSL shared libraries
ii  libssl1.0.0:amd64                  1.0.1e-2+deb7u5               amd64        SSL shared libraries
ii  openssl                            1.0.1e-2+deb7u5               amd64        Secure Socket Layer (SSL) binary and related cryptographic tools
ii  ssl-cert                           1.0.32                        all          simple debconf wrapper for OpenSSL

Из того что можно ставить на свой сервер такого нет. Причем тут проблема даже не техническая, а организационная. Потому что в каждого поставщика свой формат и кому-то нужно это все в ручном/полуавтоматическим режиме сводить в один каталог.

Но в виде сервиса - Яндекс.Маркет например.

Все просто. PHP программист пишет PHP код. Не perl код. Не, боже упаси, еrlang (который лично я очень люблю, но он требует другого мозга). И уже явно не JavaScript код. Поэтому исправляют зря. Первоначальная формулировка, исходя из описания имхо, более точна.

Его нет. Номера к нужному формату нужно приводить самостоятельно.

При указывании не URL а ип сервера - работает корректно.

Возможно два варианта:
1) Проблемы резолвинга на уровне php. Проверить можно:

<?php
echo gethostbyname('ya.ru');

Если вылезла ошибка в духе "getaddrinfo failed", то решение тут.

2) Проблемы резолвинга на уровне локальной DNS (отдается некорректный адрес к примеру). Тут уж решение на уровне DNS сервера.

Конечно возможно. А вот вопрос реализации зависит от используемого движка сайта.

Можно интегрировать даже абсолютно разнородные системы. К примеру я на blog.pravo.ru делал двухсторонную интеграцию с комментариями на docs.pravo.ru. В специальном блоге "Документы" появляется топик и сразу комментарий к нему если кто-то комментирует документ на docs.pravo.ru. С этого момента документ можно комментировать и там и там. Пример: blog.pravo.ru/blog/docs/2591.html#comments и docs.pravo.ru/document/view/18383605/16047707/?lin... (4 кнопка в правом меню). Блоги работают на LiveStreet, СПС на собственном фрейворке и полностью друг от друга независимы.

Оптимизировать только только исходя из количества потребляемой памяти. Потому как file_get_contents читает в память весь файл. А если лог будет гиг?

А разделитель строк всегда ;? А если забыли в конец строки его дописать (в указанном примере забыли для всех строк кроме первой) Да и не нужен он, если есть перенос строки (если эти строки пишет php, то можно использовать PHP_EOL, в противном случае лучше все же детектировать).

См. лог ошибок.

Если netstat показывает, что php-fpm реально слушает 9000-ый порт и при этом фаервол ни чего не блочит, то дело скорее всего в listen.allowed_clients директиве.

Правильно подсвечивает. В preg_replace первым аргументом должна передаваться строка. Поэтому синтаксически правильный вариант написания второй. Собственно он у меня (ubuntu 12.04, Sublime 2.0.2) показывается корректно.