woonem
@woonem

Где найти или из чего проще вырезать библиотеку для PHP краулера с 3 простыми функциями?

Подскажите библиотеку с 3 функциями - индексировать страницу, получить лист страниц на индексирование и получить результат выдачи по запросу.

Без PCNTL, семафоров и прочих особенных требований (то есть без самих циклов, которые бесконечно запускают индексатор). MySQL конечно нужен.
Всё что я нашёл не подходит:

phpcrawl.cuab.de :
In order to run phpcrawl in multi-process-mode, some additional requirements are needed:
The multi-process mode only works on unix-based systems (linux)
Scripts using the crawler in multi-process-mode have to be run from the commandline (PHP cli)
The PCNTL-extension for php (process control) has to be installed and activated.
The SEMAPHORE-extension for php has to be installed and activated.
The POSIX-extension for php has to be installed and activated.
The PDO-extension together with the SQLite-driver (PDO_SQLITE) has to be installed and activated.

Не подходит.

www.sphider.eu - слишком громоздкий движок, но свою функцию выполняет именно так, как мне нужно. Очень сложно вырезать из него те части, которые мне нужны.

Дело в том, что цикл, который должен индексировать страницы, организован у меня не с помощью for или while (так как я всё собираюсь запускать на хостинге, а там запрещен set_time_limit), а очень необычно (скрипт выполняется, затем пингует себя и завершает работу, когда следующая его копия запускается тем пингом), что требует изменения архитектуры движка либо, что намного проще, использования простой библиотеки и индексации одной страницы в каждой интерации.
  • Вопрос задан
  • 162 просмотра
Пригласить эксперта
Ответы на вопрос 1
27cm
@27cm
TODO: Написать статус
https://github.com/search?l=PHP&q=php+crawler&type...

Поисковик на хостинге? Кому это вообще нужно?
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы