Как спарсить заголовки с inbound.org?

Question

[Алекс Иванов]

Как можно спарсить заголовки со страницы https://inbound.org/new, если они подгружаются аяксом и при выключенном JS вообще не видны? Не могу найти в исходнике откуда они берутся. Точнее откуда берутся понимаю - в исходном коде есть источник var apiBaseURL = 'https://api.inbound.org';Но как получить этот массив - неясно.

Answer 1

[Ilya]

Запрос идёт на https://api.inbound.org/channels/default/new/30?page=1 . В ответе получаете json.
Но, там есть еще GET-параметр token и я бы, конечно, тоже его генерировал и отправлял. Этот token получается в результате
encodeURIComponent(t("inbound6session"))
, с чем вам и надо разобраться.
Сейчас это все находится в файле https://inbound.org/assets/js/dist/app-21a71a3e87.... и он обфусцирован, но при желании разобраться можно. Ищите по файлу "apiBaseURL" и рядом найдете всё остальное.

Answer 2

[Максим Тимофеев]

sbfactory.ru/?p=600

Comments

[Алекс Иванов]

не совсем оно - надо с помощью php, чтоб потом можно было сравнить спредыдущими заголовками

[Максим Тимофеев]

Protossan: Там можно все это сделать причем несколькими способами. Добавить свой php код или при парсинге каждого заголовка запускать у Вас на сервере php передавая данные. ПО в данном случае избавляет от кучи гемора с самим парсингом (многопоточность, тамауты, авторизация, jsи т.д.), а обрабатывать данные может Ваш скрипт.
Так же можно писать результаты прямо в бд и потом их скриптом обрабатывать.

[Алекс Иванов]

Весь этот геммор уже есть и работал, просто они поменяли структуру сайта два дня назад.

[Максим Тимофеев]

Protossan: и вот теперь новый гемор, который проще через ПО, они еще раз поменяют, и опять писать руками?

[Алекс Иванов]

Так это ведь программа под ПК. как его на сервере запускать? Можете дать ссылочку где об этом почитать?

[Максим Тимофеев]

Protossan: на сервере нет. Запускаете в винде, а она стучится по любому адресу на Ваш сервер и передает в параметрах результаты парсинга.
Доки тут:
sbfactory.ru/cd

Вам будет интересно вот это:
sbfactory.ru/cd/?p=419
sbfactory.ru/cd/?p=186
sbfactory.ru/cd/?p=2104

[Алекс Иванов]

Мне нужен запуск раз в час, независимо от того есть я дома, нету меня дома.
Спасибо, но этот вариант не подходит. Я вчера прочитал о нем все что можно.

Сервис классный для парсинга с дальнейшей ручной обработкой, но не для моих целей к сожалению.