Алексей Сундуков

Нужно использовать webdriver и headless режим запуска браузера. Хром это умеет и самое простое сейчас это запустить его в docker пример как тут описано: https://stackoverflow.com/a/60009842 . А дальше можно посылать ему команды и можно делать не только парсинг, но и писать ботов. Управлять лучше через Xpath.

Вот видео с техническими деталями и примерами кода как это может работать: https://www.youtube.com/watch?v=QljcCuKTqGM&list=P...
А тут про XPath если с ним нет опыта: https://www.youtube.com/watch?v=id_MNxmdRvk

Сам по себе curl работает очень быстро. Но есть время ответа сервера. И если он отвечает 8 секунд, то значит это минимальное время выполнения вашего кода. На уровне PHP кода вы ни как это не ускорите.

Но нужно разбираться, действительно ли сервис отвечает 8 секунд и если да, то почему. На задачах парсинга часто сервис который приходится парсить отслеживает IP адреса и при большом количестве запросов начинает увеличиваться время отклика персонально для вас (благо в конфиге nginx это 1 строка). И в таких случае необходимо начать использовать анонимные прокси.

Для этого нужно запустить отдельный pool задав директиву user см. https://www.php.net/manual/ru/install.fpm.configur... . Тогда php будет выполняться от заданного юзера, а не www-data.

Я на своем сервере делаю так. У каждого отдельного юзера есть свой php pool который работает от своего юзера + слушает сокет на 127* интерфейсе. Пример конфига /etc/php/7.0/fpm/pool.d/aliya.conf (юзер это aliya):

[aliya]
listen                 = 127.0.0.1:9041
listen.backlog         = 20
listen.allowed_clients = 127.0.0.1
catch_workers_output   = yes

user  = aliya
group = aliya

pm                   = dynamic
pm.min_spare_servers = 2
pm.max_spare_servers = 4
pm.start_servers     = 3
pm.max_children      = 5
pm.max_requests      = 50

env[HOSTNAME] = $HOSTNAME
env[PATH]     = /usr/local/bin:/usr/bin:/bin
env[TMP]      = /tmp
env[TMPDIR]   = /tmp
env[TEMP]     = /tmp

php_admin_value[display_errors]  = stderr
php_flag[display_startup_errors] = on
php_admin_flag[log_errors]       = on

php_admin_flag[mail.add_x_header] = on
php_admin_value[sendmail_path]    = /usr/sbin/mini_sendmail -t -f***@***a.ru
php_admin_value[mail.log]         = /var/www/aliya/data/log/mail.log

php_admin_value[memory_limit]      = 256M
php_admin_value[session.save_path] = /tmp

Причина простая. В браузере DOM строит JavaScript. И этот DOM отличается от того, что строит PHP (потому что там нет исполнение JavaScript кода).

Решение простое - запускать хром в режиме headless, использовать webdriver протокол для выполнения XPath выражений внутри браузера.

У вас ошибка в header('Content-type: json/aplication'); Правильной это Content-Type: application/json
Вообще рекомендую Insomnia. Одну из проблем которую я вижу в Postman это отсутствие выставления автоматических Content-Type. Insomnia же делает это сама в зависимости от типа тела запроса.

Этот метод можно вызвать с ключом доступа пользователя, полученным в Standalone-приложении через Implicit Flow. Требуются права доступа: status.

https://vk.com/dev/status.set

Если я через htaccess запрещу выполнение php, то это будет безопасно?

А зачем там вообще выполнение PHP? И другой вопрос, каким образом пользователи редактируют содержимое этих файлов?

PHP ту не нужен. Используйте nginx proxy для проксирования запросов со своего server на другой + nginx sub module для замены в ответах оригинального имени сервера на свой.

А что мешает сразу вытащить нужное содержимое? Например, с использованием XPath. Я для парсеров только его и использую: https://youtu.be/id_MNxmdRvk

Возможно. У вас должен быть менеджер который по ID клиента направит его запрос на нужный сервер. Принципы примерно такие же как и для распределенного кэша. Есть функция которая вычисляет нужные узел кластера, либо есть хранилище в котором сохраняются связи клиентов с узлами кластера.

Я когда-то работал и добавил генерации подобных документов: https://ww-realty.ru/dom/potapovo-id167-415/id167-...
Больно, сложно, долго. Попробуйте генерировать html, а потом просто перегонять его в PDF какой либо подходящий утилитой.

В сторону покупки нормального прокси. Или использовать публичные свободные.

P.S. 2ip.ru очень не любит, когда их парсят. Хотите что-то оттуда получить - используйте webdriver + proxy.

Действие очевидное должно быть, но на всякий случай уточню. Сервер после всех этим манипуляций перезагрузили?
Замените содержимое файла E:\programming\SOFT\OpenServer\domains\to16\app\config\config.php на:

<?php
phpinfo();

Там будет весь расклад. По каким путям ищются библиотки, какие уже подключены. Исходя из этого нужно будет переложить dll в нужную папку.

Но как быть с формами слов?

Хорошо помогает phpMorphy.
Указанный пример про "кошки".