Покритикуете bash-скрипт?

Question

[Tech]

Я очень далек от скриптов и разработки. Понадобилось в кое веке наваять простенький скрипт. Проверьте, плиз, кого не затруднит. Скрипт работает. Закинул его в fcron на выполнение раз в минуту. Но иногда сообщения в телеграм валятся с опозданием от 3, до 20 минут.

#!/bin/bash
KEY="xxxxxxx:yyyyyyyyyyy" #ключ телегграм-бота
TARGET="-4343905834509345098345" #id группы телеграм
URL1="https://api.telegram.org/bot$KEY/sendMessage"
output=$(curl -s 'https://экзампл.ком/api/posts/json')
OLD_TIME=$(echo $(cat /root/telegram/previous_post_time.json)) #время создания предыдущего поста, записанного в epoch-time.
GET_TIME=$(echo $output | jq .posts[0].created) #вытаскиваем из запроса время создания последнего поста
if (( $GET_TIME > $OLD_TIME )); then
    TIME=$(echo $GET_TIME>/root/telegram/previous_post_time.json) #записываем новое значение времени создания поста.
    GET_URL=$(echo $output | jq -r .posts[0]._links[1].href)                               
    GET_USER=$(echo $output | jq -r .posts[0].user.login)   
    URL=$(echo $GET_URL>/root/telegram/url.json)                                                        
    TEXT="$GET_USER $GET_URL"
    PAYLOAD="chat_id=$TARGET&text=$TEXT&parse_mode=Markdown"
    curl -s --max-time 10 --retry 5 --retry-delay 2 --retry-max-time 10 -d "$PAYLOAD" $URL1 > /dev/null 2>&1 &
else
    exit 0
fi
exit 0

Comments

[Дмитрий]

скорее всего это связано со сравнением времени, https://stackoverflow.com/questions/18668556/compa...

[Adamos]

Если вы подозреваете скрипт в неверной работе - логируйте и смотрите, что происходит, а не кидайте все в /dev/null. Собственно, логи могут быть полезны даже в том случае, если вы пока ничего не подозреваете.

[Tech]

Adamos, Вручную sh -x my_script.sh отрабатывает в 100% из случаев. Ошибок не валит.

[Vitsliputsli]

Tech, вы логируете время последнего обработанного поста и сравниваете его с временем последнего поста полученного через api. Время в секундах или микросекундах? Но в любом случае, следующий кейс:
1) вы обработали последний пост в 12:57:00 и сохранили время этого поста 12:56:59.
2) в 12:57:04 прилетел новый пост, в 12:57:05 еще один.
3) в 12:58:00 запускается обработчик, выбирает последний пост от 12:57:05, обрабатывает его и сохраняет время 12:57:05. А 12:57:04 получается будет потерян.

[Tech]

Vitsliputsli, да, я над этим задумывался тоже чисто из перфекционистских побуждений. Но такая ситуация крайне крайне редкая, потому что посты пишутся раз в два-три часа. И улучшение скрипта отложил до того момента, пока текущий скрипт не будет отсылать сообщения без задержек.

[Виктор Таран]

даже при конструирование космических кораблей СССР вся отрасль регулировалась одним законом
"принцип достаточности" - который говорил если это работает этого достаточно.
Всегда можно оптимизировать и улучшить, вопрос в том требуется ли это.

[Vitsliputsli]

Tech, ваш api 'https://экзампл.ком/api/posts/json' гарантирует, что данные в json сортированы по created? Если нет, то отсюда странности со временем обработки постов. Т.е. данные выдаются без сортировки в случайном порядке, и на первом месте не факт, что будет последний пост.
Если нет, то ставьте логирование, прямо со значениями постов, чтобы можно было идентифицировать, когда пост начали обрабатывать.
И было бы неплохо ограничить запуск новых инстансов, пока один работает. Или это уже сделано через systemd unit? Но это практически ни на что не повлияет.

[Tech]

Vitsliputsli, оффтоп: не хотите в "ответы" перенести беседу? Отмечу решением.
Касательно запроса.
Фактически сейчас выглядит запрос вот так:

https://экзампл.ком/api/posts/json/?sorting=date&per_page=2'

В итоге ответ приходит отсортированный по дате с инфой о двух последних постах (в отличие от того, что раньше приходило о 20 постах). Возможно, это и помогло. Не знаю. Сейчас поставил выполняться таймер каждые 10 сек. За сутки 9 постов было, все пришли моментально.

Помимо этого переделал скрипт, перенеся команду записи времени ниже команды отправления в телегу.

curl -s --max-time 5 --retry 2 --retry-delay 2 --retry-max-time 3 -d "$PAYLOAD" $URL1 && \
echo $GET_TIME>/root/telegram/previous_post_time.json

Не знаю, гарантирует ли это НЕ запись времени в файл, если сообщение в телегу не отправится. Если не гарантирует, то не подскажете как можно этого добиться?

[Vitsliputsli]

Tech, если код 200 гарантирует доставку, то да, гарантирует "НЕ запись времени в файл, если сообщение в телегу не отправится".
10 секунд увеличивает вероятность дублирования отправки сообщения, при больших лагах доступа к ресурсам, но я так понимаю это не так критично для вас.

p.s. В "ответы" нет особого смысла переносить, т.к. ответ специфичен для вас и другим особо не поможет.

Answer 1

[Saboteur]

if (( $GET_TIME > $OLD_TIME )); then

Тут идет арифметическое сравнение.
Скорее всего блок все время выполняется с ошибкой, потому что непонятно что в $GET_TIME, и там вряд-ли распознаваемая команда. Разве что случайно попадает что-то внятное. Если приведете примеры того, что у вас в эти переменные попадает, будет понятнее.

Сравнивать нужно не даты, а таймстампы

Comments

[Tech]

насколько понимаю форма с ((...)) равнозначна [ ... ] , возможно просто устаревшая. Вывод у них одинаковый.
Время приходит в epoch формате. Соотвественно, скрипт сравнивает обычные числа. Вот вывод при равных OLD_TIME и GET_TIME.
+ GET_TIME=1601984549
+ '[' 1601984549 -gt 1601984549 ']'
+ exit 0

Повторюсь, скрипт работает из консоли вручную в 100% случаев и без задержек. Создание нового поста, запускаем скрипт. В телегу валится сообщение, без проблем. Подумал, что проблема в fcron. Перевёл задачу в systemd.timers, создав два необходимых юнита. Но так же есть задержки, как и при fcron. Буду гуглить как вывести в консоль выхлоп выполнения systemd service

[Saboteur]

Да, сори перепутал [[ ]] с [ ]

Но вот эта команда у вас по идее ничего в TIME не заносит, правда TIME дальше по скрипту не используется?
TIME=$(echo $GET_TIME>/root/telegram/previous_post_time.json)

Я больше подозреваю, что может сам телеграм подтормаживать или curl, тут бы конечно больше логирования и добавить деталей от курл

[Tech]

Saboteur, не, то что в TIME оно так или иначе делало задачу. Команда выполняется и ей присваивается переменная. То есть, значение GET_TIME записывалось в файл. Но Вы правы, само задание переменной не требуется. Уже потом убрал, заменив на

echo $GET_TIME>/root/telegram/previous_post_time.json

часа два назад убрал > /dev/null 2>&1 & из курла, отправляющего сообщения в телегу. Пока полёт нормальный. Посмотрим.
Отмечу решением ваш ответ за попытки помочь и разобраться. :) Спасибо.