Какой уровень изоляции транзакций выбрать для парсинга?

Question

[khodos_dmitry]

Скрипт выполняется кроном раз в минуту. Берет 10 страниц и парсит. Нужно, чтобы эти 10 страниц блокировались на время выполнения скрипта. Чтобы следующий скрипт не взял себе парсить некоторые из этих страниц. А следующий скрипт брал не заблакированные страницы.
После того, как страница спарсится, соответствующее значение подставляется в столбец parse в таблице.
Или для этого транзакции не подходят?

Answer 1

[dmitriy]

можно через базу организовать, пусть фиксируеются страницы которые в работе, паралельный скрипт может делать проверку на наличие в работе и пропускать.
то есть я бы разделил задачу на два этапа сбор информации о страницах которые нужно парсить и собственно парсинг этих страниц, в момент работы можно менять статус страницы READY, WORK,COMPLETE
соответственно параллельные скрипты должны получать страницы для парсинга в READY состоянии

хотя даже и добавил бы третий этап это получение данных страниц расположенных локально:
1. получение пула страниц
2. скачка страниц в локальное хранилище
3. извлечение информации из локальных страниц

Comments

[khodos_dmitry]

транзакциями это сделать нельзя?

[dmitriy]

транзакции не имеют отношение к парсингу, транзакции организуйте в 3 этапе

[khodos_dmitry]

еще один вопрос. Если скрипт не успел спарсить 10 страниц и закрылся. Тогда состояние work останется.

[dmitriy]

вы можете обработать условие "не успел спарсить 10 страниц и закрылся" например exception и сменить состояние на ERROR, или вернуть обратно в READY
тогда будет повторно запрошен на скачку

[khodos_dmitry]

diamond: но лучше транзакции на каждую страницу мне кажется. Если COMMIT не произошел, то вся транзакция отменяется?

[dmitriy]

если вы хотите за один запрос спарсить страницу, вытащить данные и добавить в базу то да через транзакции, но из практики я бы порекомендовал сперва нацелится на скачивание страниц в локальное хранилище