Как программно загрузить 100 Гб файлов на много Android планшетов максимально быстро?

Question

[Станислав Свириденко]

Необходимо максимально быстро загружать контент (видео, аудио) на большое кол-во Android устройств. Все устройства одинаковые. Сейчас пробуем под Ubuntu использовать jmtpfs (+ 4 USB 3.0 контроллера), но с ним наблюдается нестабильное поведение при заливке большого объема (в какой то момент передача прекращается и все останавливается). В стеке

[pid  1679] read(10,  <unfinished ...>
[pid  1505] restart_syscall(<... resuming interrupted poll ...> <unfinished ...>
[pid  1498] read(10,  <unfinished ...>
[pid  1452] read(10,  <unfinished ...>
[pid  1450] read(10,  <unfinished ...>

adb использовать не получается - он почему-то работает одновременно только с 3мя устройствами.

Comments

[zooks]

Вариант - загрузить на SD-карты, а затем вставить их в планшеты.

[PrAw]

а adb из десятка виртуалок? хотя там скорей всего пропускная способность USB выжрется

Answer 1

[xmoonlight]

multicast
https://developer.android.com/reference/java/net/M...

Comments

[Армянское Радио]

И тут на одном из устройств один пакет теряется - пилить TCP через multicast?

[xmoonlight]

Армянское Радио: во первых UDP, во вторых - есть алгоритм: вначале рассылаем всем, затем (по завершении кастинга) собираем инфу по потерям с клиентов и снова мультикаст по ним.

[Армянское Радио]

xmoonlight: Что равнозначно переизобретению TCP повер UDP. Тогда уже можно MPI использовать, там функционал такой рассылки реализован. Только вот втащить MPI на андроид будет трудновато.
И еще вопрос - а все ли андроидные ядра будут кушать multicast? Реализация TCP через multicast у меня есть, на C++, естественно. При большом желании, можно затолкать это в NDK и получить неплохое решение.

[xmoonlight]

Армянское Радио: "Что равнозначно переизобретению TCP повер UDP." - вот тут по-подробнее.

[Армянское Радио]

xmoonlight: Напоминаю, что TCP отличается от UDP тем, что рассылает пакеты-подтверждения на каждый полученный сегмент данных. В случае использования мультикаста, придется делать аналог - также рассылать подтверждения на каждый пакет. Делать это после передачи всех данных неразумно - придется хранить на принимающем узле неограниченно длинный список сегментов.

[xmoonlight]

Армянское Радио: Что напоминаете - это уже не плохо. )))
1. На каждый пакет - это бред и так никто не делает при мультикасте.
2. В конце передачи, каждый принимающий - отправляет кастеру только номера ошибочных/отсутствующих сегментов. После чего - кастер решает как раздать: если есть ошибки одного сегмента у нескольких клиентов - снова мультикаст, если разные ошибки у разных клиентов (нет пересечений) - unicast.

[Армянское Радио]

xmoonlight: Остается только все это взять, запрограммировать, и отладить.

[xmoonlight]

Армянское Радио: вот чё-та нашел, может пригодится: https://community.particle.io/t/multicast-udp-tuto...

[xmoonlight]

Армянское Радио: "грабли": https://plus.google.com/+Chainfire/posts/9NMemrKYnCd

[Армянское Радио]

xmoonlight: Интересно, как это будет работать, если использовать NDK

[xmoonlight]

Армянское Радио: судя по документации - должно как часы. а на деле... - это ж гугл)

[Станислав Свириденко]

Прошу прощения что не указал сразу - на планшетах запрещено включать wi-fi по требованиям безопасности. Да и wi-if даст максимум 1Гбит что при скорости записи на карту памяти 8Мбит. позволит в идеальном случае загрузить на 100 планшетов, но в реальности я думаю будет не больше 40

[xmoonlight]

Станислав Свириденко: самое лучшее - грузить на каждый планшет с отдельной скоростной флешки. Притом приоритетнее не через карту, а через USB-OTG-кабель с нормальных скоростных в районе 100Мбит на чтение и запись. Или попробовать поискать OTG-Ethernet.

[Станислав Свириденко]

xmoonlight: Увы, выше контроллера в планшете вы не прыгните. У нас стоит карта памяти которая позволяет писать со скоростью до 20Мб/с. Однако вставленная в планшет она разгоняется не больше 9 Мб/с. А вынуть карту памяти и записать на неё через более быстрый интерфейс мы не можем.

смысл вы том, что если мы копируем на карту памяти в планшете под ОС Windows то мы получаем скорость 8-9Мб/с в режиме MTP, при условии что на каждый USB контроллер планшета подключено не больше 2 планшетов (копировали из Windows explorer). Однако пытаясь сделать тоже самое под UBUNTU мы столкнулись с описанной выше проблемой. Пока похоже на на то что драйвера для USB под ubuntu не рассчитаны на такой режим (запись файлов большого объема в большом кол-ве)

[xmoonlight]

Станислав Свириденко: а какие есть варианты доступа к планшетам? кроме запрета Wi-Fi что еще нельзя делать с ними?

[Станислав Свириденко]

xmoonlight: В планшет вставлена (я бы сказал вклеена) карта памяти (128Гб) и выключено всё connectivity. В процессе обслуживания активируется USB по которому можно обмениваться данными (удалять и загружать файлы), после обслуживания перед выдачей выключается и USB порт. Поэтому обмен только через USB.

[xmoonlight]

Станислав Свириденко: жесть там у вас какая!) надеюсь данные зашифрованы и привязаны ключом к железу?! А то же и расклеить могут флешку.

На других USB контроллерах пробовали? Режимы порта USB - переключали?
На других осях/компах - пробовали? - просто может что что-то с конкретно этой конфигурацией не так....

[Станислав Свириденко]

Там вся проблема в объёме данных. Если заливать 2-5 Гб то данные вливаются и на вполне нормальной нормальной скорости. Вся беда именно когда льётся большой объём. От контроллера это не зависит - мы пробовали на 2х разных контроллерах (не считая двух встроенных в материнскую плату).мы обнаружили это на 30 гб. Хотя те же 30 гб нормально льются под windows на те же планшеты

[Станислав Свириденко]

Да данные конечно зашифрованы с привязкой к планшету.

[xmoonlight]

Станислав Свириденко: а нельзя лить с докачкой (например, после ребута интерфейса)?

[Станислав Свириденко]

xmoonlight: так ещё б поймать когда он отвалился. А то на уровне cp он висит, а isotop показывает что все стоит и в стеке фигня что стартовом посте

[xmoonlight]

Станислав Свириденко: а с не юбунты - пробовали лить (кроме винды)? Например, с Debian или Kylinux?

[Станислав Свириденко]

xmoonlight: нет, а думаете там другие драйвера и fuse? Попробуем сегодня под FreeBSD и может придется по Windows попробовать написать

[xmoonlight]

Станислав Свириденко: я думаю, что если есть варианты нерешённой задачи - то нужно их пробовать)