Трафик на amazon aws, почему перерасход?

Question

[Рустам Салаватов]

Использую акаунт amazon aws для хранения файлов и раздачи из S3 (все через cloudfront)
Пришел счет. Не пойму.. если я использую cloudfront почему трафик набежал за трансфер 100 баксов?


data transfer:

cloudfront:

как можно понять откуда?

Answer 1

[Максим]

Потому что CloudFront - это CDN, который продается за трафик в сеть. А бесплатны только первые 50Гб в сеть.

As part of the AWS Free Usage Tier, you can get started with Amazon CloudFront for free. Upon sign-up, new AWS customers receive 50 GB Data Transfer Out and 2,000,000 HTTP and HTTPS Requests each month for one year.

Comments

[Рустам Салаватов]

я может туплю простите, но опять же есть cloudfront трафик в 367Гб, а есть еще какой-то трафик без него в 1,1Тб... Почему если весь трафик идет через cloudfront не записывается туда? Может у меня какой ресурс напрямую дергается без cloudfront?

[Максим]

Рустам Салаватов: если честно, то сам страдал от Амазоновской калькуляции. Тут нужен специальный отдел, который должен заниматься исключительно их расчетами :)

Но судя по записям, похоже что да, 1.1Тб где-то ходил с S3 напрямую. Там вроде как в одном регионе бесплатно. Может быть с S3 CDN были в одном регионе? И вообще мог быть такой большой объем работы с S3 напрямую?

[Максим]

Рустам Салаватов: т.е. хотел сказать S3 и CDN в разных регионах.

[Рустам Салаватов]

Максим: я проверил насчет регионов... у CDN нет региональной привязки, тк похоже что в этом и суть)) выбрать регион там не возможно вообще для cloudfront.
Вот значит гдето напрямую ходит трафик с s3... и как его вычислить? запрятить напрямую можно?

[Рустам Салаватов]

Максим: еще похоже нашел возможную причину, это то что я данные отправлял с помощью rclone... увидел по логам что он напрямую зачем-то при отправке делает кучу GET запросов, может в этом дело. Разбираюсь. Тут отписал подробнее https://github.com/ncw/rclone/issues/976

[Максим]

Рустам Салаватов: а rclone не работал в каком-нибудь фоновом режиме? И вообще для каких целей все было организованно? Возможен вариант, что он в реалтайме синхронизировал данные. Можно попробовать также глянуть на объем трафика где работал этот rclone :)

[Рустам Салаватов]

Максим: да как раз там тоже трафик превышен, сервер на softlayer.
но я думаю попробовать s3cmd позже и проверить измениться ли результат.
А rclone использовал как удобное решение для разных типов источников, тк использовал и s3,swift и локальное хранилище... когда все было в одном сервисе не чувствовался трафик тк шел внутри приватной сети.