Почему в nextcloud маленькая скорость?

Question

[Errmac404]

Подскажите пожалуйста, как увеличить скорость в nextcloud загрузки/закачки по сети. На тестовой машине, подключенной 1гбит выдает максимум на запись 30мб/сек, а на чтение 60 мб/сек.

Comments

[Дмитрий Шицков]

А какая скорость чтения и записи дисков без участия nextcloud?

[Максим Гришин]

И ещё, а каике это "б" - биты или байты? Если байты, то ещё нормальная скорость.

[Errmac404]

Дмитрий Шицков, ssd диски
Максим Гришин, скорость соединения 1гигабит, upload 30 мегабайт в сек, download 60 мегабайт в секунду

Answer 1

[АртемЪ]

Ну для начала надо определить что значит маленькая скорость, и что ее ограничивает.
Канал у вас 1гигабит.
Значит теоретически по нему можно прокачать в районе 120мегабайт/с.
Практически меньше - зависит от настроек сети, типа трафика, используемых протоколов.
К тому же канал может быть загружен.
В общем нормальная скорость передачи в среднем для гигабитного канала это 50-60мб/сек.
Ваши значения вроде такие и есть.

Так же следует понимать что вы не просто трафик гоняете вы его с диска читаете - далеко не каждый диск сможет выдать те же 30мб/с в любой ситуации.
Все зависит от нагрузки, размера обращений, соотношения записи к чтению, размера кластера,

Поэтому определите какая скорость вам нужна, насколько реальная отличается от нужной.
И тогда уже можно думать что именно стоит сделать.

Comments

[Errmac404]

Спасибо за развернутый ответ. Диски ссд. Я понимаю что данные проходят через пирог технологий и протоколов, но не думал, что настолько режет скорость.
Для примера я беру обычную smb-шару и монтирую ее убунтой получаю нормальную скорость, а подключаю через некстклауд получаю в 2-3 раза меньше.

[АртемЪ]

Errmac404, Ну вот вам банальный пример
Обычный HDD способен обеспечить скорость чтения 150мб/с
Но это только если речь идет про крупные файлы.
Если же речь пройдет про мелкие, в районе 4килобайт, то скорость уже будет 0,8-09мб/с
В 150раз меньше. Просто потому что он упирается в производительность по IOPS.

Тот же самый SSD - среднестатистический может обеспечить скорость при чтении мелкими блоками в районе 20мб/с, а топовые модели до 80мб/с!

И это только диски.
А передача по сети. В некоторых протоколах служебной информации передается в два, четыре раза больше чем пользовательской. Например чтобы передать фотку размером мегабайт, по сети будет передаваться четыре мегабайта служебного трафика и собственно мегабайт фотки.

Далее - неизвестна нагрузка на канал.
Далее - некстклауд кушает процессор и требует памяти для обработки - так что есть вероятность что будет упираться и в это.

В общем то озвученная вами скорость вполне нормальна.
Возможно ее удастся увеличить, но надо копать, смотреть где узкое место.

[Errmac404]

Я поднял на убунте и подключил прямым соединением с обычным пк. Тестовый файл в виде 4гб образа.
Штатной утилитой smbclient я гоняю этот файл на предельных для физической среды скоростях, а при подключении через nextcloud external dev -> smb получаю меньше. Я специально упростил все по максимуму, чтоб посмотреть реальную скорость одного соединения. Проц на тестовой машине i7/16гб ОЗУ.

[АртемЪ]

Ну смотрите - во первых разные протоколы.
В одном случае SMB - специальный протокол оптимизированный для передачи файлов в быстрых и стабильных локальных сетях.
В другом случае http - протокол для обмена информацией, передача файлов не его сильная сторона, и сделан он для работы в разнородных сетях с разной скоростью. Там упор не на то чтобы побыстрее передать, а чтобы гарантированно дошло невзирая на потери и обрывы маршрутов.

Во вторых вы гоняете огромный файл - 4гб это линейное чтение.
А некстклоуд бъет файлы на мелкие порции и передает их в общем то почти случайным образом. Соответственно в разы отличается нагрузка на диск.

[Errmac404]

АртемЪ, Ясненько. А как масштабируется некстклауд? Например для крупного предприятия?

[Saboteur]

А еще момент - диск может быть подключен по какому-нить SATA2

[АртемЪ]

Saboteur, А чем это помешает?
SATA2 передает данные побыстрее чем гигабитный канал. Так что в него в любом случае не упрется.

[Денис Юрьев]

Errmac404, вы небось nextcloud через snap ставили?)

[Errmac404]

Денис Юрьев, кстати да, вчера через snap, а сегодня с утреца накатил руками и чудо! Правда в полку уперся по чтению, запись чуть быстрее. Связка ubuntu-nginx-mysql
poisons, пробовал различные варианты на разных сетевых протоколах (smb, iscsi, webdav), остался не в восторге. Да и с сетью проблем. Я так понял вначале данные пишутся локально на сервере, а потом передаются по сети на хранилище. Так вот в момент передачи по сети все красиво.

[Денис Юрьев]

Errmac404, а я всегда говорю, что snap - дно. от убунты отказался из-за этого в свежих инстансах)

Answer 2

[Денис Юрьев]

Потому что nextcloud в ubuntu установленный через snap - тормоз коих еще поискать надо

ставьте всегда руками на стэк nginx+php-fpm+mysql(желательнее вообще postgresql)+memcached(или redis)