Как лучше организовать автоматическое восстановление приложения после сбоя?

Question

[forttran]

Разрабатываю приложение которое скачивает базу с удаленного сервера в мою локальную базу(ms sql).
Предполагаемый объем - около 10 гигов.
Приложение генерирует ссылки, обращается к серверу и забирает данные за один день.
Возникла потребность организовать восстановление после сбоя.
Как лучше организовать подобное? Извиняюсь, если вопрос нубский.

Comments

[nirvimel]

Что за удаленный сервер? Веб? Или sql? Он не ваш? Вы пишите только клиентскую (забирающую) сторону? Какие такие ссылки? Веб?

[forttran]

nirvimel: Сервер - финам. Скачиваются тиковые котировки. Собственно доступ имеется только через http. Я не так давно в этой области, поэтому допускаю что делаю что-то не так. Приложение генерирует ссылку вида 195.128.78.52/MSNG_121026_121026.txt?market=1&em=6... - это тиковые данные за день. За месяц выгружать не могу, так как, например, по сберу, это слишком большой объем для одной "транзакции". Приложение уже реализовано, однако нужно сделать возможность сохранения/восстановления после сбоя.

Answer 1

[nirvimel]

Классический вариант решения:
1. Таблица, где хранятся котировки, имеет индекс по дате/времени.
2. Выгрузка идет отдельными транзакциями в цикле. Между транзакция не сохраняется никакого внутреннего состояния. По окончанию каждой транзакции программа (условно) возвращается в исходное состояние (этим обеспечивается восстановление после сбоев).
3. В самой транзакции сперва делается выборка записи с максимальным значением временной отметки (поиск по индексированному полю - мгновенно).
4. Это значение округляется в меньшую сторону до начала периода (минуты/часа/дня/года).
5. Производится запрос котировок за этот период.
6. Выбранные данные объединяются с содержимым таблицы таким образом, что пересекающиеся записи не дублируются (тут много вариантов решения на sql).
7. Транзакция закрывается.
Все.
Итого: полная гарантия отсутствия дублирующих записей в базе при любом раскладе. Этот скрипт/программу можно запускать вручную/автоматически/по_графику в любое время - ситуация с несколько одновременно работающими копиями не опасна (хоть и бессмысленна).

Comments

[forttran]

Спасибо за решение. В итоге сделал так:
1) Лекарство от неконтроллируемых сбоев(обрыв интернета, выключение света) - ваш метод с транзакциями;
2) При закрытии окна пользователем - даю флаг interrupt. Класс в потоке обрабатывает загрузку до ближайшего логического конца и сериализует кортеж из текущих даты и эмитета. После - поток прерывается.

Answer 2

[Alex XYZ]

Не подойдёт обычный try/catch с сохранением сбойных запросов в отдельный список, а потом повторного их вызова?