Python + Scrapy
В pipelines.py в def open_spider(self, spider) открываем соединение с базой, в def close_spider(self, spider) закрываем.
Для каждого сайта — свой паук (класс в .py-файле). Система продуманная, можно результаты парсинга развернуть даже в виде веб-сервиса встроенными средствами.
