Кто-нибудь может помочь доработать парсер на python?
Написали с другом парсер на python, используя grab для форумов SMF-SMF. То есть парсер грабит посты с форума на движке SMF, и постит на другой форум на таком же движке. Парсер работает, есть даже возможность копировать по очередности с нескольких форумов. Используется база данных. Однако, время от времени скрипт прерывает свою работу из-за сетевых задержек или ошибок, то есть он может работать несколько циклов, а в какой-то момент уже перестать работать. Попытались реализовать цикл, то есть слать повторный запрос, но в таком случае повтор идет бесконечный. Стоит перезапустить скрипт - все снова работает до поры до времени.
В общем доработка включает в себя либо исправление этих ошибок, либо сделать как-то так, чтобы шел игнор ошибок, а скрипт продолжал работать, а не вырубался. Если среди вас есть энтузиасты, напишите в комментах кто готов помочь, с движком SMF я работаю уже достаточно давно, так что знаю его хорошо и смогу объяснить что и почему есть в скрипте касательно самого SMF.
Специализуюсь на сборе данных и очень вам советую:
1. Выбросить grab (на редкость глючное поделие).
2. Переписать на Scrapy, настроить RetryMiddleware.
