Многопоточная запись в БД. Как?

Question

[stayHARD]

Добрый день, %username%.

Пытаюсь заставить мультипоточно отрабатывать скрипт-парсер.
Сейчас он работает последовательно:
1. Выбирает ссылки на сайты из БД.
2. Проходить циклом по каждой ссылке вызывая функцию get_info()
3. Функция get_info() ищет на сайте нужную мне информацию и в конце делает SQL запрос на UPDATE записи с этой ссылкой.

Как это все ускорить?
Перепробовал кучу примеров с использование thread, threading, multithreading, multiprocessing модулями, все только усугубляет ситуацию(отработка происходит дольше(!) чем последовательно).
Найти годный и хороший пример не удалось, прошу ткнуть носом куда смотреть, ведь выходит что я что-то упускаю. Иначе зачем вся эта куча модулей, который работают дольше :)

Заранее большое спасибо.

Answer 1

[Andrey K]

https://github.com/aio-libs/aiopg

Comments

[stayHARD]

Python2.7 используется.

[Andrey K]

Тогда смотрите в сторону Greenlet, scrapy, насколько я помню, на них работает.