Подскажите PHP краулер с двумя функциями - индексировать страницу и выдать результат по запросу.
Без PCNTL, семафоров и прочих особенных требований. MySQL конечно нужен.
Всё что я нашёл не подходит.
In order to run phpcrawl in multi-process-mode, some additional requirements are needed:
The multi-process mode only works on unix-based systems (linux)
Scripts using the crawler in multi-process-mode have to be run from the commandline (PHP cli)
The PCNTL-extension for php (process control) has to be installed and activated.
The SEMAPHORE-extension for php has to be installed and activated.
The POSIX-extension for php has to be installed and activated.
The PDO-extension together with the SQLite-driver (PDO_SQLITE) has to be installed and activated.
Не подходит.
www.sphider.eu - слишком громоздкий движок, но свою функцию выполняет именно так, как мне нужно. Очень сложно вырезать из него те части, которые мне нужны.
Мне не нужен полноценный движок, нужна только библиотека с 2-3 функциями: индексировать страницу, получить результат выдачи по запросу и, необязательно, получить список ссылок на индексирование.
Дело в том, что цикл, который должен индексировать страницы, организован у меня не с помощью for или while (так как я всё собираюсь запускать на хостинге, а там запрещен set_time_limit), а очень необычно (скрипт выполняется, затем пингует себя и завершает работу, когда следующая его копия запускается тем пингом), что требует изменения архитектуры движка либо, что намного проще, использования простой библиотеки и индексации одной страницы в каждой интерации.
