Задать вопрос
  • Кто-нибудь сталкивался с резким увеличением задержки при работе с Telegram API?

    Slotly
    @Slotly
    Python, Telegram-боты записи, бэкенд для сайтов
    Про DPI выше всё верно, добавлю то, что помогает выбрать лечение,
    а не только поставить диагноз.

    Смена ДЦ помогает не всегда, и это можно проверить заранее. Если режут
    по IP-подсетям Telegram — да, другой аплинк спасёт. Если режут по SNI
    на этапе TLS-хендшейка, переезд в другой ДЦ той же страны не даст
    ничего: имя домена уходит в открытом виде и его видно везде одинаково.

    Различить за минуту. Сначала адрес:

    dig +short api.telegram.org

    Потом два запроса — по домену и по IP с подменой Host, во втором имя
    домена в открытом виде не передаётся:

    curl -o /dev/null -s -w "dns:%{time_namelookup} conn:%{time_connect} tls:%{time_appconnect} total:%{time_total}\n" https://api.telegram.org/bot/getMe

    curl -k -o /dev/null -s -w "%{http_code} %{time_total}\n" -H "Host: api.telegram.org" https:///bot/getMe

    По IP летает, по домену висит — режут по имени, маршрут ни при чём
    и менять ДЦ бесполезно. Висят оба — тогда да, IP и маршрут, версия
    выше подтверждается.

    Заодно смотрите, какая фаза растёт:
    — большой time_connect — рвут на TCP
    — нормальный time_connect при большом time_appconnect — убивают
    TLS-хендшейк, это как раз про SNI
    — первые две в норме, растёт только total — это уже обычная
    перегрузка канала, и лечится совсем иначе

    Теперь про клиент, раз вы про него спрашивали. Причина не в нём, но
    именно его настройки решают, будет у вас «иногда подтормаживает» или
    «бот встал».

    Таймауты. В aiogram по умолчанию 60 секунд, и это очень много. Один
    повисший запрос держит очередь, а когда соединение наконец отваливается,
    всё накопленное вылетает разом. Симптом «бот молчал, потом ответил всем
    сразу» — это почти всегда таймауты, а не сеть.

    from aiogram import Bot
    from aiogram.client.session.aiohttp import AiohttpSession
    bot = Bot(token=TOKEN, session=AiohttpSession(timeout=20))
    # у long polling таймаут задаётся отдельно:
    # dp.start_polling(bot, polling_timeout=20)

    Вебхук вместо long polling. Long polling держит одно долгое соединение,
    а такие DPI рвёт охотнее всего. Вебхук — это короткие запросы, плюс при
    неудаче Telegram повторяет доставку сам.

    Ретраи с экспоненциальной паузой и случайным разбросом. Без разброса все
    повторы придут одновременно и добьют то, что и так шатается.

    Очередь исходящих в базе вместо «отправить и надеяться»: бот кладёт
    сообщение со статусом, отдельный воркер разгребает. При обрыве сообщения
    уходят позже, а не теряются. И свой ключ идемпотентности, иначе после
    восстановления связи люди получат по три копии.

    И залогируйте время каждого запроса с разбивкой по фазам. Ровная
    задержка и рваная на глаз одинаковые, а чинятся по-разному.
    Ответ написан
    Комментировать
  • Кто-нибудь сталкивался с резким увеличением задержки при работе с Telegram API?

    @brar
    Причина в DPI в 99,(9) процентах случаев.
    Искать что-то еще - смысла ноль. Просто поверьте.
    Либо подстраиваться и постоянно быть готовым менять адреса и дц-ы (и это принципиально верный вариант), либо отказ.
    Ответ написан
    Комментировать
  • Кто-нибудь сталкивался с резким увеличением задержки при работе с Telegram API?

    opium
    @opium
    Просто люблю качественно работать
    скорее не DNS и не клиент виноваты: похоже, провайдер того сервера подрезает трафик именно к подсетям Telegram (149.154.x.x, 91.108.x.x), DPI такое любит даже после официальной разблокировки. Сравни через mtr или curl -v --resolve на оба сервера — если маршрут и потери к одним и тем же IP разные, гипотеза подтверждается. Лечится сменой ДЦ или проксёй через нормальный аплинк.
    Ответ написан
    Комментировать
  • Какой хостинг подойдет для шлюза?

    VoidVolker
    @VoidVolker
    Dark side eye. А у нас печеньки! А у вас?
    Любой, который удовлетворяет вашим требованиям. Рейтингов и списков хостеров в сети полно. Кстати, немного занимательной математики: два сервера по сто пятьдесят стоят меньше, чем один за девятьсот с двумя адресами. А вообще, пост выглядит как реклама...
    Ответ написан
    2 комментария
  • VLESS + REALITY + XHTTP: почему долгая задержка перед началом загрузки сайтов и видео?

    opium
    @opium
    Просто люблю качественно работать
    похоже дело не в reality/xhttp, а в PMTU blackhole на финском VPS: мелкие пакеты (DNS, поиск, превью) проходят, а крупные сегменты с DF где-то дропаются, ICMP Frag Needed до клиента не долетает — TCP висит до ретрансмита с уменьшенным MSS, потом всё же доходит.

    проверь с самой VPS наружу: ping -M do -s 1472 1.1.1.1, постепенно уменьшая размер, пока пинг не пройдёт. Найдёшь порог — выстави MTU пониже на интерфейсе (1420-1450) или пропиши mss clamping на исходящем.

    на немецком сервере путь до аплинка был без фрагментации, у финского другой транзит — отсюда и разница при одинаковом конфиге xray.
    Ответ написан
    7 комментариев
  • Почему Chromium и Firefox по разному запрашивают сайты в плане TLS/SSL?

    @Drno
    отличается TLS отпечаток.
    вообще есть статейка интересная, как РКН детектит ВПН. там отпечаток + IP + еще триггеры. если они все совпадают то блок) и не важно сайт там или рабочее что то )

    мне вон РКН на серваке в РФ банил некстклауд, потому что видео я хотел оттуда смотреть, а для этого запускается VLC плеер, а его отпечаток видимо на что то поход или не разрешен, я хз )
    Ответ написан
    Комментировать
  • Почему Chromium и Firefox по разному запрашивают сайты в плане TLS/SSL?

    VoidVolker
    @VoidVolker
    Dark side eye. А у нас печеньки! А у вас?
    Но ведь есть четкие протоколы, какие там могут быть различия во взаимодействии с сайтом?

    Любые. Басня "Лебедь, рак и щука" прекрасно это иллюстрирует. Вот тут примерно то же самое. Стандарт-то один, а вот его интерпретация и реализация могут сильно отличаться.
    Ответ написан
    2 комментария
  • Почему Chromium и Firefox по разному запрашивают сайты в плане TLS/SSL?

    ebye
    @ebye
    Занимаюсь защитой веб-ресурсов
    Что касается mirkvartir.ru - то у них как раз всё в порядке, изучите статью:
    https://habr.com/ru/articles/1045684/

    там есть ответ на вопрос про отпечатки браузеров и самой проблеме.

    2fe9502dd4523cdb70963e9c952756e0.png

    Статус 403 это не блокировка от ТСПУ - сам сервер сайта - отдает запрет по каким либо причинам, как уже ответили ранее другие пользователи Хабра.

    Некоторые сайты у меня в Chromium не открываются например из за таймаута
    https://habr.com/ru/articles/1045438/

    В целом эти две статьи помогут Вам разобраться в Вашем вопросе)
    Ответ написан
    Комментировать
  • Почему Chromium и Firefox по разному запрашивают сайты в плане TLS/SSL?

    PiSaiK
    @PiSaiK
    IT куратор
    Я написал инструкцию как обойти такие блокировки РКН. Сайт не открывается с мобильного, и это не ваш баг... там есть и первоисточники
    Ответ написан
    Комментировать
  • Утечка кейвордов в Телеграм при посещении постороннего сайта?

    Mike_Ro
    @Mike_Ro
    Python, JS, WordPress, SEO, Bots, Adversting
    Обычная персонализация рекламы. Вы набирали запросы или посещали сайты с аналогичной тематикой, телега могла выкупить "аудиторные сегменты" у того, через кого собиралась статистика (например у яши или гугла), дальше самостоятельно персонализировать рекламу под вас в телеге.
    Ответ написан
    3 комментария
  • Утечка кейвордов в Телеграм при посещении постороннего сайта?

    vpetrov
    @vpetrov
    частный SEO-специалист
    Невозможно на 100% сохранить приватность. Суперкуки, логи выдачи, футпринты, обмен данными между рекламными сетями и т.п. в любом случае позволяют хотя бы приближённо сформировать пользовательский профиль, посчитать его вероятные интересы и определить в какую-то группу.
    Единственный вариант - антидетект-браузеры, максимально затрудняющие отслеживание. Но этот вариант сильно на любителя игр с анонимностью в сети.
    Ответ написан
    4 комментария
  • Хочу попробовать стать системным аналитиком, с чего лучше начать и во сколько попытаться найти работу?

    opium
    @opium
    Просто люблю качественно работать
    Если ты не умеешь Гугл и смотреть Ютюб ты вчера был уже вне рынка, если сегодня ты не умеешь ии, ты просто никому не нужен на рынке труда
    Ответ написан
    1 комментарий
  • Хочу попробовать стать системным аналитиком, с чего лучше начать и во сколько попытаться найти работу?

    Maksim_64
    @Maksim_64
    ML Engineer
    1. Хотеть денег это хорошо и правильно.

    2. 2-3 работы, тоже есть такое дело.

    3. Наставничество это плохо, сам учись, сам ошибайся, сам добивайся успеха.

    4. Системный аналитик, в разных компаниях может означать все что угодно. От кодера в области данных, до менеджера. Это не направление, а должность.

    5. Учи английский, учи математику, двигайся в сторону AI/ML.
    Ответ написан
    4 комментария
  • Хочу попробовать стать системным аналитиком, с чего лучше начать и во сколько попытаться найти работу?

    vpetrov
    @vpetrov
    частный SEO-специалист
    Системный аналитик - одна из сложнейших профессий в IT, и как первую специальность (и работу) её рассматривать не стоит. Ей не научишься ни по видосам, ни на курсах, ни даже в вузе. Надо, как минимум, поработать разработчиком, тестировщиком, бизнес-аналитиком, чтобы вообще понимать, о чём речь и уметь настроить коммуникации между конечным заказчиком и разработкой.
    А к этому добавим понимание технологического стека, умение моделировать данные, писать ТЗ чётко и недвусмысленно, уметь общаться и с теми, и с этими и много чего ещё.
    Ответ написан
    Комментировать