CRON как лучше сделать?

Question

[beginer123]

Здравствуйте, возник такой вопрос.
Логика сайта замешана на том что раз в день мне нужно запускать будет некий код.
Естественно через cron
Так вот, а что если вдруг мой скрипт внезапно упадет?
Я только что запустил его локально он прервался, через минуту ничего не меняя запустил еще раз, он заработал.
Возмем простейший пример, допустим скрипт должен в определенную колонку для каждой записи(их милион) добавлять +1
И напрример он сломался на 100 000-ой строке
Как сне сделать так чтобы в случае непридвиденной ошибки он все равно его довыполнил?
Но не просто заново, а с учетом его предыдущей работы
Как лучше такое сделать?

Comments

[Zhainar]

почему прервался не смотрели?

[beginer123]

вопрос не в том почему прервался)в опрос в том как грамотно подобные форсмажорные обстоятельства учитывать?

[beginer123]

Zhainar: Допустим мне просто надо записать в файлик новую строку с цифрами
1
2
3
....
1 000 000
и так каждый день по 1-чке прибвалять
и вдруг на 100 000 оборвалось, как мне сделать так чтобы крон понял что код выполнился неверно, и повторно запустить его но начиная с 100 000 ой строки

Answer 1

[Roman K]

Хранить состояние последнего запуска где-то и на каждом запуске проверять.

Comments

[beginer123]

Да, я это примерно так и представлял, но как это все выглядит на практике?

[Roman K]

beginer123: Пиши в файл, читай файл.

[beginer123]

Допустим мне просто надо записать в файлик новую строку с цифрами
1
2
3
....
1 000 000
и так каждый день по 1-чке прибвалять
и вдруг на 100 000 оборвалось, как мне сделать так чтобы крон понял что код выполнился неверно, и повторно запустить его но начиная с 100 000 ой строки

[Roman K]

beginer123: крон не понимает, что код не выполнился. Скрипт, который ты запускаешь, должен сам ловить ошибки и делать какие-то действия в этом случае.

[beginer123]

Roman Kitaev: И как тогда быть при данной проблеме?

[Roman K]

beginer123: Переписать, очевидно, свой скрипт так, чтобы он делал что-то при ошибке.

[beginer123]

Roman Kitaev: допустим я обращаюсь к какому то API(не важно какому), и вдруг что то случилось на их стороне(опять же все возможные проблемы мы предусмотреть не можем) и скрипт не выполнился.
что тогда делать?
Как я понимаю нам надо для каждого скрипта запускаемого кроном определить однозначно что он должен сделать, например при запросе к API получить какие то данные, то нам нужно повторорить эту крон команду до тех пор пока она не выполниться корректно,я правильно все понимаю?но как крон узнает вообще что скрипт отработал корреткно?

[Zhainar]

beginer123: крон ничего не знает, его дело запускать процессы во время.

Answer 2

[lega]

1. Сделать атомарность, транзакции, если их нет, то другими способами, например если это файл, то сделать результирующий файл рядом и если все ок, то заменить (переименовать) исходный.
2. Помечать обработанные строки, в самой строке или с наружи.
3. Помечать текущую строку внутри/или снаружи, если процесс имеет "строгую" последовательность.

для каждой записи(их милион) добавлять +1

Конкретно эта задача решается не так, строки можно не обновлять совсем:
1) можно вычислять значение от даты создания строки
2) можно делать +1 всего лишь на одно значение, а во всех строках будет хранится только сдвиг

Answer 3

[Захар Сторожук]

На последней строке кода - записать в файл какое то значение, написать второй скрипт который проверяет значение и если его там нет - запустить скрипт еще раз.

Т.е первый крон в 12:00, второй в 12:05, тот что в 12:05 - скрипт который проверяет выполнение первого скрипта.

Думаю даже если с первого не включился, то со второго раза запустится ваш первый скрипт.

Comments

[vanoc]

Для этого есть flock

[beginer123]

почему именно в 12:05?А что если у меня скрипт отрабатывает неопределенное время?т.е может и 5 минут может и 50, как тогда быть?