Почему задержка при запросе на API проект на Heroku и как пофиксить?

Question

[dalisoft]

Добрый день всем!

Я создал и загрузил Node.js (Fastify) бекэнд на Heroku (бесплатный тариф), локально работает ваще быстро (примерно 2-100ms), так как все сделал (cache(+ttl) + duplication check + checking) для ускорение скорости бека.
Но в Heroku на каждый запрос занимает примерно 500ms-5 сек (иногда до 10 секунд), которые невозможно сделать быстрый фронт для него.

Почему может происходить так и как можно пофиксить это?
Заранее спасибо!

Comments

[d'Ivan]

Какие add-ons СУБД используются?
Данные замеров взяты с логов?

[dalisoft]

Роман Мирр, только PostgreSQL для Heroku и вот все. С логах напишет что ответ был 4-8ms. Но не так реальные ответ

[d'Ivan]

Давлат Шавкатов, если приложение отдает контент быстро, то остается только потенциальная задержка из-за внутреннего роутинга Heroku или задержка+передача по сети.
Если есть возможность проверить географически близко к инфраструктуре Heroku, то было бы достаточно достоверно.

[d'Ivan]

Давлат Шавкатов, если не секрет, как называется dyno?

[dalisoft]

Роман Мирр, Free dyno у меня. Я думаю это из-за система роута Heroku. Имя dyno не знаю пока :(

[d'Ivan]

Давлат Шавкатов, даже у бесплатных оно есть:
имя_дино.herokuapp.com

[dalisoft]

Роман Мирр, а, имя приложение? drinkakciya-uz.herokuapp.com

[dalisoft]

Роман Мирр, мне понравился Heroku так, даже хотел 2й проект сделать на Heroku, только чуть дорого для Hobby dyno =)

[d'Ivan]

Давлат Шавкатов,
1-й запрос ответил спустя 9 сек (дино спал).
а 2-й и 3-й уже возвращается за 188 мс.

[dalisoft]

Роман Мирр, у меня другой скорость, http:// joxi.ru/v29k3bDcZzNRar?d=1

[d'Ivan]

Давлат Шавкатов, нода быстро отдает контент, за 3-9 мс. Роутинг показывает <1мс.
В закладке Settings какой region указан?

[dalisoft]

Роман Мирр, US; http:// joxi.ru/krD5za4cKJxdgm?d=1

[d'Ivan]

Давлат Шавкатов, Heroku не виноват.
https://tools.pingdom.com/#5a90315e22c00000

[dalisoft]

Роман Мирр, тогда что может быть причиной такой скоростью?

[d'Ivan]

Давлат Шавкатов, время отдачи 10 секунд логично для первого запроса, когда дино еще спит. Последующие запросы будут без задержек и зависят лишь от расстояния от пользователя до сервера.

[dalisoft]

Роман Мирр, Да, первый запрос само-собой ОК даже 15 секунд, ну последующие запросы уж важны)

[d'Ivan]

Давлат Шавкатов, это вопрос географической удаленности от сервера. Ни AWS ни другая инфраструктура не дадут лучшей скорости отдачи, если они далеко от клиента и также я не думаю, что отмеченное решение таковым является.
Если с Сан-Франциско ответ приходит за >140 мс, от меня за >170 мс, а от тебя за >500 мс, то это подтверждает мои мысли. Первый запрос можно не брать в расчет - пока дино стартует.

Answer 1

[Иван Шумов]

Если у вас проект чисто в виде API, то посмотрите на AWS, Azure. У них с этим все прекрасно и на старте вы вряд-ли вообще что-то заплатите (если не полезете куда не стоит)

Гуглить Serverless

Comments

[dalisoft]

Я знаю про Lambda / Serverless и спасибо за рекомендации, но мне нужно постоянный сервер, так как мне нужно кроме REST API еще и WebSocket.
В AWS год назад зарегался, не пользовался и как-то сам закончился срок и теперь шансов не осталось у меня. И еще раз спасибо за совет :)

[Иван Шумов]

Давлат Шавкатов, AWS API gateway поддерживает и http и WS. Ещё аргументы?)

Зарегайте ещё акк. У меня их 3 на одной карте)

[dalisoft]

Иван Шумов, То есть могу ли я на одной карте зарегаться под 3 аккаунт? Спасибо, больше аргументы нету :)

[Иван Шумов]

Давлат Шавкатов, вот и я. А про WS посмотрите обязательно.я был в шоке когда они выкатили. Он ещё сыроват в удобстве разработки, но работает и это его главное преимущество. + Смотрите сразу в сторону serverless.com на предмет автоматизации (в разы удобнее получается)

[dalisoft]

Иван Шумов, спасибо, буду пробовать

[Иван Шумов]

Давлат Шавкатов, обращайся)

Answer 2

[Сергей Горностаев]

Перейти на платный тариф.

Comments

[dalisoft]

спасибо! в бесплатный тариф есть такой лимит? в доке не нашел про этот. платный тариф дорого, $7/месяц для каждый проект. если бы у меня был деньги, я бы брал VPS с DigitalOcean.

[Сергей Горностаев]

Давлат Шавкатов, на бесплатных тарифах нет никаких гарантий, в том числе производительности. Провалы по 5-10 секунд точно связаны с засыпанием dyno.

[dalisoft]

Сергей Горностаев, даже после запроса, я делаю еще запрос после 2-секунд, задержка как минимум 500ms и это уже плохо и не знаю почему.
Вы правы, на бесплатных тарифах нет гарантии, спасибо.

[d'Ivan]

Сергей Горностаев, проблема не в засыпании, а в расстоянии до сервера.

[Сергей Горностаев]

Роман Мирр, какое должно быть расстояние для 5-секундного ответа? ДЦ на Луне? Я сейчас проверил, моё приложение за 200-250 мс отвечает. Я в Иркутске, приложение в ДЦ в Вирджинии.

[d'Ivan]

Сергей Горностаев, только 1-й запрос так долго, а последующие за >500 мс. Зависит от качества сети.

[Сергей Горностаев]

Роман Мирр, да, может зависить от сети. Может зависеть от нагруженности сервера. Может зависит от расстояния до ДЦ. Может зависеть от производительности приложения. Причин может быть масса. Диагностика нужна. Но 5-10 секунд - это 100% сон.

[d'Ivan]

Сергей Горностаев,

Но 5-10 секунд - это 100% сон.

Не спорю. Но это верно только для 1-го запроса.
А для остальных если все >500 мс, то это только из-за сети.

[Сергей Горностаев]

Роман Мирр, да почему? Я видел много кода, который даже в локалке умудрялся 500 мс ответ выдавать.

[d'Ivan]

Сергей Горностаев, бывает и такое, однако в логах у автора написано что 3-9 мс.
Я проверил, что с Сан-Франциско получает ответ за 140 мс. Так что не вижу другого объяснения кроме как задержка сети.

Answer 3

[d'Ivan]

Небольшое исследование показало, что сервер на Хероку отдает контент за 3-9 мс и с Сан-Франциско получает ответ за 140 мс.
Я бы порекомендовал задеплоить приложение где-нибудь в регионе Европы во избежание сетевых задержек.
Хостить в AWS отдельно имеет смысл лишь если выбирать регион поближе к пользователю, чем США. Хероку работает на мощностях AWS в некоторых регионах.

Comments

[dalisoft]

Если я буду задеплоить на Европу придется соглашаться на правили GPDR?

[d'Ivan]

Давлат Шавкатов, скорее всего да.

[dalisoft]

Роман Мирр, Тогда это не вариант пока что, спасибо за помощь :)

[d'Ivan]

Давлат Шавкатов, у AWS есть куча регионов, но у Хероку кажется только в US+EU.

[dalisoft]

Роман Мирр, Лучше Yandex.Cloud буду пробовать тогда. Если бы у Netlify был бек (есть lambda, но это не вариант), он был самый быстрый, мой фронт на Netlify отвечает за 250ms