Как сделать автовозобновление парсера с момента обрыва или с момента остановки по Api Python?

Question

[Наиль Абдуллин]

Сделал парсер все работает в базу заносится, база PostgreSQL. Код на чистом Python. Но после того я его останавливаю к примеру на 1000-ом элементе, и потом запускаю снова он начинает все сначало выдергивать элементы, дублирует их. Про дубли не важно мне сейчас, мне нужно сделать автовозобновление парсинга с момента обрыва или остановки. Пожалуйста подскажите как это реализовать...))

Answer 1

[Алексей Ярков]

Ну при каждой итерации сохраняйте текущее значение в файл, а при запуске читайте оттуда. Блин, в чем проблема?

UPD:

#+++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++ в рот мне ноги. какой же здесь прокомментированный и отформатированный код :( +++++++++++++++++++++++++++++++++++++++++

Comments

[Наиль Абдуллин]

Стыдно, но я не знаю или точнее не пойму как это сделать(((

[Алексей Ярков]

Наиль Абдуллин: вот ходит ваш парсер по страницам bash.im. При запуске сканируем главную страницу и получает кол-во всех страниц, например 1112. Вы запускаете итерацию по страницам, с 1 до 1112. При каждой итерации пишете в файл номер текущей страницы, например 596 и тут херакс! И скрипт падает. При повторном запуске сканируем главную страницу и получает кол-во всех страниц, например 1112, но прочитав файл мы начинаем цикл уже с 596 до 1112. Понятно?

[Наиль Абдуллин]

Алексей Ярков: да это я понял, но когда я иду по элементам, и сверяю все данные. Выбираю id элемента(json) и сверяюсь с ним, но он все равно идет с начала(((

[Алексей Ярков]

Наиль Абдуллин: без кода я хз что там у вас происходит. Код с комментариями в студию

[Алексей Ярков]

Наиль Абдуллин: #+++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++ в рот мне ноги. какой же здесь подробно прокомментированный и отформатированный код :( +++++++++++++++++++++++++++++++++++++++++

[Наиль Абдуллин]

Алексей Ярков: Все разобрался))