Как распараллелить процесс?

Question

[vebry]

придумал себе задачку: есть файл со 100+К ссылок, который периодически обновляются, нужно отправить по каждой запрос, получить ответ и как то обработать: распарсить. Для наискорейшего решения такой проблемы нагуглил пул потоков, может существует более красивый способ решения подобной задачи?

Answer 1

[Boris Köln]

есть файл со 100+К ссылок, который периодически обновляются

Используйте очередь. Например, https://ru.wikipedia.org/wiki/RabbitMQ

нужно отправить по каждой запрос, получить ответ и как то обработать: распарсить

Самый эффективный способ - на bash (curl/wget, grep, sed и пр.). Но можно и на любом другом ЯП, в том числе и на Java.

Comments

[devalone]

Самый эффективный способ - на bash (curl/wget, grep, sed и пр.).

ну вообще-то это один из самых НЕэффективных способов

Answer 2

[devalone]

Используй асинхронные запросы, например тот же Go, где это из коробки, или Python с asyncio или любой язык, который знаешь

Answer 3

[santaatnas]

Есть для этих целей Spring Batch (для массовой обработки) и какой-нибудь брокер очередей, можно RabbitMq. Вот пример spring batch integration