Как записать ответы на много ссылок?

Question

[ifaceman]

Доброго времени суток!

Есть много ссылок типа:
https://steamcommunity.com/market/search/render/?q...
https://steamcommunity.com/market/search/render/?q...
https://steamcommunity.com/market/search/render/?q...
и т.д.

Проход по ссылке возвращает ответ,
{
success: true,
start: 0,
pagesize: 100,
total_count: 166595,
results_html: " <Длинный html код со списком предметов>"
}

Есть ли средства, чтобы пройти по всем этим ссылкам и сохранить результат в единый файл (можно даже без предварительного парсинга)?

Comments

[OVK2015]

На чем?

Answer 1

[Ernest Faizullin]

у вас есть бэкенд (node, ruby, php)? Чтобы записать все в файл нужно туда (на бэкенд) отдать ответ, а там уже в зависимости от языка записывать в файл

Comments

[ifaceman]

Нету, но видимо придется разобраться)

Answer 2

[Alex XYZ]

Используйте HTA. Тоже, что HTML, только разрешает сохранять текстовые файлы на локальной машине. Последовательность такая: делаете HTML страницу с jquery/angular, На странице запускаете все запросы по вашим ссылкам по ajax, после сборки всех ответов суммируете их и пишете в текстовый файл. Бонус - не нужно писать серверную часть.

Можно даже без HTA, если сделать на Windows Scripting Host, но тут придётся повозиться с Ajax: stackoverflow.com/questions/13689871/how-do-i-use-...

Можно поекспериментировать с nw.js: nwjs.io

Можно ещё на C# + CefSharp (WebBrowser class очень слабый со старой версией IE, настоятельно НЕ рекомендую), но это когда надо серьёзно обработать результат, например, я так грузил набор картинок с сайта, где картинки были как CSS background и сшивал их автоматом в PDFs, для чего подключил iText через NuGet. Если это вы недавно задавали вопрос загрузки данных с сайта стим, то вполне можете этим инструментом написать хорошего паука для обработки данных стима на C# при просмотре страницы online.

Answer 3

[Александр Сёмченко]

Есть ли средства, чтобы пройти по всем этим ссылкам и сохранить результат в единый файл (можно даже без предварительного парсинга)?

Бессвязный поток сознания какой-то.

Что там такого страшного? JSON и html? Берите да разбирайте.
google -> "json\html + любимый язык программирования"