Тот, что лучше знаете.
Для хитрых одностраничных сайтов - пригодится что то типа CasperJS (а это JavaScript)
Для всех остальных - годится любой развитый язык.
Только не писать все самому, а использовать библиотеки.
Например, Scrapy на Python или fetchbot и GoQuery для Go (многопоточность из коробки).
Но, на деле, у вас будет совсем другая проблема с многопоточностью.
Сайт вас забанит за множество одновременных запросов.
;)
Так что это должны быть отдельные пауки, запускаемые на разных серверах, но управляемые из одного места.