Какие подводные камни в работе парсера торрент-трекеров?

Question

[kator]

Есть парсер популярных (и не очень) торрент трекеров. Изначально создавался для себя, как способ потренироваться в Node.js, но появилось желание поделиться. В связи с этим возникли некоторые взаимосвязанные вопросы:

1. При 1 запросе клиента Node делает до 20 запросов на разные трекеры (что-то вроде async.parallel(parseFunctions)) , а может и больше, так как со временем добавляются новые трекеры. И если в случае одного запроса ничего плохого не случается, то как нода отреагирует на 5-10-20 одновременных запросов?
   
   
2. В сторону какого хостинга смотреть в случае такой возможной нагрузки?
   
   
3. Есть вероятность встречи блокировки? На моей памяти был аналогичный проект, потом его на некоторе время блокировали, он поменял домен на .me и сейчас вроде как работает, но очень криво. Что влияет на возможность банхаммера? Повторюсь, сайт ничего не хранит и не является трекером.
   

Answer 1

[hzzzzl]

1 - ноде пофиг вообще, всё будет выполняться не "одновременно", а по очереди все равно (node.js event loop), просто чуть больше придется ждать результата если 1000 запросов, а не 10;
"5-10-20 одновременных запросов" это вообще ничто

3 - есть конечно вероятность ^_^

Answer 2

[Алексей Скобкин]

Ответ несколько не по вашему вопросу, но если задача стоит в индексации содержимого торрентов, то возможно эффективнее будет индексировать DHT как делают, например, magnetico и прочие проекты (есть и на node.js).
Правда, если задача именно в парсинке описаний к раздачам - тогда да, трекеры нужны. Но это кучу проблем создаёт.