Есть ли расширение для Chrome или другого браузера, который позволяет прочитать содержимое console или способ перехватить XMLHttpRequest?
Добрый день.
Требуется для парсера. Страница выкачивается вгетом и дальше скрипт отслеживает пропущенные вгетом файлы (404 ответы) <- это всё сделано.
Такое расширение нужно, чтобы отследить 404 урлы отсылаемые XMLHttpRequest и заменив домен скачать скрипт.
Или интересует любой другой лёгкий способ получить все запросы XMLHttpRequest
Дело в том, что я пишу парсер игр. Все скрипты, картинки, стили загруженные в тело html -> проблем с ним нету. Однако движок игр подгружают ещё файлы. Пример: game.eurodir.ru/igry-zlaya-babushka/igra-zlaya-bab...
И вот я не знаю как их спарсить?
Нужно универсальное решение -> отслеживать 404 код и скачивать на сервер
Laid: Но ведь игры могут докачивать разные файлы в процессе. Новые уровни, новые модели, диалоги, и прочий арт. К примеру пока вы не пройдете игру до надцатго уровня движок не запросит с сервера модельку босса этого уровня, так?
Т.е. простым парсером здеь не обойдешься. Нужно именно проходить игру, и в процессе вытасквать все файлы. Верно?
Тогда сам подход с парсером становится сомнительным выбором. Если игра доступна по http, то можно пропустить трафик через прокси и сохранять все файлы которые она запрашивает. Если только по https, то и с прокси ничего не выйдет. Нужно писать (или использовать готовый) браузерный плагин.
Лет 8 назад я вытаскивал ресурсы одной игрушки через CacheViewer, но мне тогда интересны были только некоторые файлы, а не все подряд.
Laid: Подробности о прокси? Нагуглите готовый кеширующий прокси сервер или напишите свой (мой простенький прокси с интерфейсом, авторизацией и списками замены файлов на лету укладывался в 350 строк, например).
Вы изобретаете такое велосипедище, что аж страшно представить. Если ваш метод и взлетит, делайте обертки для классов, делайте оттуда вывод инфы. Но это извращение. Фантом вам понравится.
Дело в том, что я пишу парсер игр. Все скрипты, картинки, стили загруженные в тело html -> проблем с ним нету. Однако движок игр подгружают ещё файлы. Пример: game.eurodir.ru/igry-zlaya-babushka/igra-zlaya-bab...
И вот я не знаю как их спарсить?
Нужно универсальное решение -> отслеживать 404 код и скачивать на сервер
Виталий: то есть, фантом - это, то что мне нужно? Самый оптимальный вариант, это снести то что написал и сделать "по человечески" на фантоме. И он сможет парсить вот эти файлы: dl3.joxi.net/drive/2017/02/24/0016/1202/1090738/38...
Которые подключаются через XMLHttpRequest?
Виталий: Нужен был самый быстрый результат. И пошёл "творить", чем умел (php/js). С перечисленными выше не работал. Направьте на путь истинный. Подскажите ответы на вопросы, пожалуйста
P.S. делается для личного пользования и элегантность решения - роли не играет. Важно, чтобы был универсальным. Для этого нужно как-то получить список 404 ошибок. Вот здесь ступор
