Почему скорость парсинга с DigitalOcean гораздо меньше чем с AWS?

Question

[Fiamma]

Есть парсер, который работает на DigitalOcean минимальной виртуалке и собирает 10 страниц в секунду. Это слишком мало, пробовал изменить тип виртуалок, разворачивал оптимизированные с кучей процов и памяти, результат примерно такой же.

Попробовал поставить на AWS с самой дешевой виртуалкой для сравнения и скорость парсинга взлетела с 10 страниц до 500 без всякого напряга.
Не могу понять в чем причина, переходить на AWS дороговато. Хотелось бы разобраться и исправить положение ((

Парсинг сделан с помощью PHP и Guzzle.

PS.
===================
Пинг на DO - 150
Пинг на AWS - 256
===================

Comments

[sim3x]

Где расположен донор?
На каком етапе происходит замедление?
На чем написан граббер и парсер?

[Fiamma]

sim3x,

Парсер во Франкфурте, донор в Танзании.
С самого начала, стабильно низкая скорость.
Граббер на PHP 7 написан.

[Everything_is_not_so_bad]

Fiamma, AWS граббер находился в какой зоне?

[sim3x]

Fiamma, жесть

Я думаю, что больше чем 10 рпс донор и не сможет отдать

[Fiamma]

sim3x, может, по 500 отдает же...

[Fiamma]

Роман Мирр, где-то в Мумбаях :)
Но из Лондона тоже отлично парсит... Дело точно не в размещении, ну или я чего-то не понимаю.

Answer 1

[#]

пробовали трассировку и пинг до целевых сайтов?
.. на вскидку было бы абсолютно адекватно, если целевой сайт на AWS, да еще в том же ДЦ

ps а вообще процесс приносит профит? если да, то какие проблемы посчитать выгоду от выигрыша в скорости, в сравнении стоимости хостинга?
.. если нет - не мучайтесь, пусть себе капает не спеша

Comments

[Fiamma]

Пинг примерно схожий, у меня на локальном компе пинг выше чем на серваке, а парсит в несколько раз быстрее. По этому дело не в нем.

[#]

Fiamma, надо не локалку сравнивать, а DO с AWS

[Fiamma]

#, я понимаю)
Пинг на DO - 150
Пинг на AWS - 256

[#]

Fiamma, а ширина канала? .. если дело не в этом, то остается присмотреться к реально предоставляемым вычислительным ресурсам. других то вариантов нет

[Fiamma]

#, DO предоставляет на виртуалку канал 300 мегабит, это хватает, на локалке 100 мегабит.. Это не из-за канала.
Заметил интересный факт, на самой дешевой виртуалке с 1 vcpu проц забивается под 100%, но на двух vcpu он держится на уровне 50%. Тем временем когда парсер запускаю на локалке, то у меня каждое ядро грузится по 50% а не только одно... Может это как-то связано с системой виртуализации... Хз куда капнуть и что писать в поддержку((

[#]

Fiamma, а на AWS? немного странно все время подаешь сравнение с локалкой, хотя вопрос то изначально ставишь про AWS

Answer 2

[Everything_is_not_so_bad]

По-моему, инстанс AWS был расположен более оптимально географически чем DO. То есть это вопрос расстояния и скорости отдельных маршрутов.

Comments

[Fiamma]

Пока, я склоняюсь к тому, что на AWS лимиты "чего-то" (я пока не понял чего) стоят по выше. Т.к. был момент, когда парсер отлично работал в течении нескольких часов, а потом все просело и стало так же как на DO. Во прос на что это могут быть лимиты, это точно не трафик, это не проц, аператива и винт. Это я уже проверил.

Answer 3

[АртемЪ]

который работает на DigitalOcean минимальной виртуалке и собирает 10 страниц в секунду

В этом и дело.
У вас виртуалка А это понятие растяжимое.
Сколько там памяти и процессора?
И что именно требует ваш скрипт?
Банально не хватает памяти, или ресурсов процессора.

Comments

[Fiamma]

Я писал выше, что пробовал более дорогие виртуалки. Я слабо могу представить чем не хватит 32 гига оперативы и 16 ядер честно говоря.

[АртемЪ]

Fiamma,

Я слабо могу представить чем не хватит 32 гига оперативы и 16 ядер честно говоря.

Да запросто. У вас же виртуальная машина.
Вот взять память 32 гига оперативы - это только ее размер. Это совсем не говорит о том как быстро она выделяется и с какой скоростью работает. Одно ядро может работать на порядок быстрее чем 32.

Что такое ваши 16ядер? Ядра разные бывают и производительность их различается на порядок. На сколько честно они выдаются?

Я на 32ядерном Xeon'e с 128Гб оперативки запущу сотню виртуальных машин - и у каждой будет 16ядер, и 32Гб оперативки. В итоге вы будете использовать примерно 15% одного реального ядра частотой 2Ггц, если запустите 16 потоков, а если парсер однопоточный то будете использовать 2%одного ядра. И разумеется парсер на такой 16 ядреной виртуальной машине будет работать в 200-300раз медленнее чем на самом дешевом реальном целероне.

Answer 4

[Fiamma]

На DO - 20 запросов в секунду, на AWS - 800. Из наблюдений могу сказать что AWS классной работает первый день\два - потом скорость падает до 30 запросов, и я так понимаю что это из-за поинтов мощности который предоставляет AWS.

А вообще свою проблему решил тем, что оптимизировал парсер. Все стало гораздо лучше.