Как ускорить загрузку видео в youtube по api?

Question

[Иван]

Необходимо как можно быстрее загружать 500 одинаковых роликов в 500 разных youtube каналов.
Все каналы принадлежат разным пользователям.

Данные пользователь выдали разрешение моему приложению загружать ролики в принадлежащие им каналы.

Вопрос, как ускорить загрузку 500 роликов в разные каналы?
Средняя длина ролика до 15 минут, загрузка 15 минутного ролика занимает 10-15 секунд.

Т.е. на загрузку 500 роликов уйдет 4 часа, как сократить?

Возможно здесь есть люди, которые сталкивались с подобной задачей, буду благодарен если поделитесь информацией о результатах вашей работы, поделитесь опытом.
Очень интересно, как сам youtube отнесется к загрузке 500 роликов в разные аккаунты одним приложением?

p.s. есть возможность попросить пользователя создать свое youtube приложение и предоставить мне информацию о его api. но как я понимаю, на скорость загрузки это не повлияет.

Спасибо!

Answer 1

[Иван Шумов]

А зачем вам грузить ролики последовательно, если можно параллельно? Если, конечно, только, загрузка одного ролика забивает ваш канал полностью

Comments

[Иван]

Вот и я думал, что можно параллельно загружать, нашел фрилансера и он сказал, что скорость особно не уменьшится, странно конечно...
Иван, в двух словах, можете описать логику параллельной загрузки?
Спасибо!

[Иван Шумов]

Иван, два слова: параллельная загрузка)

В случае php это либо multi curl, либо несколько одновременно запущенных скриптов загрузки.

Скорость упадет или нет зависит от множества факторов. Надо проверять

[Иван]

Иван Шумов, понял, спасибо.
А что больше влияет на скорость?
Я пользуюсь исключительно vps, нужно много памяти или мощный CPU?

[Иван Шумов]

Иван, нужен широкий канал и желательно несколько сетевых интерфейсов (в AWS это ENI). Процессор вас нафиг не нужен, а что до памяти - зависит от того сколько у вас одна загрузка потребляет

[DevMan]

Иван, по-простому: чем мощнее и больше памяти, тем больше задач можно запустить.
разумеется, если принимающая сторона не против.

это все определяется опытным путем.

[Иван Шумов]

DevMan, процессор только тут скорее всего вообще не при делах) у меня есть на php , проекты, гоняющие много данных. Процессор спит почти, а память под завязку

[DanKud]

Иван, все правильно вам в целом сказал фрилансер. Если загрузка всех роликов идет от вас и отдача забивается на 100% то какая разница, будете вы грузить один ролик на максимальной скорости отдачи и загрузите канал на 100%, или будете грузить 500 роликов и скорость отдачи просто поделится между ними и канал так же забьется на 100%.

[DevMan]

Иван Шумов, все зависит от того как и чем параллелить.

[Иван]

DanKud, но ведь можно загружать не все, а 10 или 20, общее время загрузки роликов ведь уменьшится? Если канал будет позволять загружать 10-20 роликов одновременно.

[Иван Шумов]

DevMan, все так)

[Иван Шумов]

Иван, если у вас изначально канал забивался на 100% то без изменения сетевой инфраструктуры нет, останется так же

[Иван]

Иван Шумов, я не говорил, что у меня канал на 100% забивается, пока даже не проверял если честно.

[Иван Шумов]

Иван, с этого надо было начинать

[Иван]

Смутно пока понимаю, что такое канал, вот характеристики моего сервера

[Иван Шумов]

Иван, возвращайтесь когда прочитаете. Конфигурация сервера сейчас бесполезна для решения залдачи

[Иван]

Иван Шумов, когда прочитаю что?
Я внимательно прочел ваш ответ и все ваши комментарии, понял, что нужен широкий канал.
Что-то пропустил?

[Иван Шумов]

Иван, да. вы пока не знаете что такое канал, как узнать его пропускную способность и какую нагрузку на него дает ваша загрузка. Так что прочитайте матчасть сначала)

[Иван]

Иван Шумов,
))) ок