один поток собирает ссылки, складывает в очередь.
Запускаете сколько нужно обработчиков, каждый из которых:
1. достает одну запись из очереди
2. собирает инфу
3. сохраняет в бд
4. возвращается к пункту 1.
Если это дело бегает на одной машине - то можете использовать SysV очереди сообщений.