Решили взять мать:
EEB Z10PE-D8 WS
+ возьмем пока один камень 2630v3 + одну видяху. Из соображений можно будет расширить или придумать схему с виртуализацией, да и продать точно полегче или использовать где-то как рабочую станцию видеообработки в последствии
Ну или докупить процессор и все на процессорах сделать. Хотя вариант этот самый плохой.
SyavaSyava, Там скорее чип который дает некое API к доступу ядра. По крайней мере я уже встречал посты где четко говорилось что делается несколько потоков с таким-то качеством и частота ядра повышается при работе инкодера. Т.е HW тут чип дающий доступ к командам скорее всего.
Масштабируемость, тут вопрос куда проще чем с QSV. Ты в том же ffmpeg можешь указать какой hw использовать и все будет тип-топ. Т.е 2 видяхи на беглый взгляд точно потянут эту задача с запасом.
У нас сейчас дилемма по железу: LGA2066 или LGA1551.
на камень i7. Вот сидим думаем, стоит чуть больше потратить на новый сокет. По идеи от него проще избавится, все же новый сокет последний и проц на его базе. Возьмем на тест с манибэк. Но проц как вы понимаете по манибэку в пасте не вернуть :(
SyavaSyava, об QSV был разговор в соседнем топике. QSV поддерживается ffmpeg – 100%. Правда тут сразу без проблем не обходится:
1. Очень ограниченные настройки кодирования видео
2. Не понятно опять сколько потоков берет
3. С видео например понятно, какой максимум можно вытянуть. Т.е покупая карту за 8000Р ты точно можешь хоть 4к@60 перемолоть в высоком разрешении. А QSV возможно даже его не возьмет
4. Кодирование QSV имеет проблемы в динамических сценах (тестов жопой жри). Т.е если мы говорим о видео, все понятно: 20mbit + поставил и там проблем нет от слова вообще. А там проблемы что на 2mbit потоках (сцена рассыпается), что на 5mbit
Vladimir Zhurkin Спасибо за совет, я на неё натыкался. Очень интересная плата в плане 4 дырки на один PCI-E, перечитал кучу отзывов. Есть только один нюанс – это кот в мешке. Найти в России тяжело, собирать без теста машину под эту карту (т.е с минимумом PCI-E слотов) я не рискну, у нас нет времени. Проблемы у карты есть с качеством (читал отзывы амазон, иногда рябит картинка)
SyavaSyava, Я вам отвечу как мы прогоним тест на обычной машине кодирование на видеокарте.
Тут сложно сказать сколько нужно PCI-E потому что нигде особых тестов нет сколько потоков можно на видяху грузить. Там либо одна машина – одна камера получится. Или уместим все на одной что вариант очень хороший (я за уменьшение количество техники) или если видяха потянет 1-2 потока всего, то проблема найти материнку не проблема.
Есть давние истории на прошлом ядре (не Pascal) где говорится о очень не плохом кодировании в 3 потока 720p@30 и она их как семечки щелкала (тесту около 4 лет, т.е он(тест) дает возможность только понять что потоков возьмет больше одного). В теории если видеокарта формата 1050 будет на Паскаль в теории она сможет все вытянуть, все потоки разом. Но там рисуется другая проблема. При кодирование h.264 nvenc есть нюансы. Нельзя жать потоки а-ля 1080@30 с битрейтом *5000*. Она очень лажает на динамических сценах когда битрейт слишком низкий. Низкий битрейт читать как меньше 15мбит. Это не проблема зажать и в 20мбит, но тогда понадобиться очень хороший исходящий канал в интернет чтобы переслать это на Дата-центр где такой поток уже Зионы сожмут на обычные h.264. По крайней мере снизить качество h.264 видеопотока для процессора будет не так напряжно как пытаться взять поток RAW в несколько гигабит с камеры и сжать в h.264 с нуля.
sim3x Подсказали вариант, который возможно устроит. Ребята с телеканала. Они выделяли одну машину на виндах с не топовым i7 где создавалось 3 потока с камеры и накладывалась на вайркасте графика. Работало хорошо в пределах 50% нагрузки
Не могут сказать потянет ли Зион в макпро такое количество потоков, но либо вариант с макпро либо заводить отдельную машину на хорошем проце и винде и делать управление RDP когда надо скэлинг или что-то сделать. И отдельную машину для управляющего...можно какой-то iMac. В общем и винду не сломают т.к она под одной задачей будет и в бюджете macpro это останется
Vladimir Zhurkin, Я бы хотел чтоб это закончилось macpro, если была бы уверенность что вытянет все. Ну согласитесь купил и забыл. Не надо ничего думать. Но уверенности нет и смотрю может кто-то делал многопоточные кодирования на базе виндов или маков, смотрел сколько может на себя взять.
Родился еще один вариант сделать каким-то макаром 3 машины не шибкосильные, но с хорошим процом в стойку. На каждую камеру сделать один комп получается на базе винды или иксов. Один камень точно возьмет и прогонит формата i7 не топового. Просто не хотели парк разводить оборудования и лишних звеньев
sim3x, Нам не нужны картинки, нам нужна динамика. И костыль ввиде OBS родился т.к он может загрузить с прозрачным фоном web страничку которая будет постоянно по ajax обновляться и отрисовывать webgl. Или тот же скейл делать без прерывания. Т.е ffmpeg он работает с заранее заданными параметрами. Если был бы иной вариант без OBS, или ffmpeg умел бы это делать – было бы очень круто. Но увы.
Ну проблему первой кодировки, можно поставить и 100мбит поток. Это не сильно в данном случае важно. Первое сжатие будет fast или slow. будем смотреть по факту. Остальные veryfast
Т.е на первом сжатии постараемся качество сильно не срезать.
Максим Ленский, Услышал, спасибо за мнение. FFMPEG чудно работает на mac osx, все же там тоже в основе теже иксу/freebsd. Я знаю что на винды ffmpeg будет отдельным приключением. Это не пугает если он в итоге работает. Тут самый большой камень в том – 24/7 не как сервера, а как машина с запущенным в фоне софтом. Сам склоняюсь больше к macpro, то вопрос лишь хватит ли его на это
Максим Ленский, Да он действительно не дорогой + форм-фактор очень удачный. Тут полемика возникает у людей которые не работают в продакшенах. Макведра я вижу в продакшенах в купе с вин машинами профессиональными. Что-то на маках делают, цветкор и прочую лабуду, что-то на вин машинах – графику к примеру. Стоимость – относительно. Безусловно кто-то соберет за 200 машину которая будет сильнее/выше/быстрее макпро и будут говорить об этом на каждом углу, что вот есть дебилы...я сэкономил. Но когда на камеры RED аккумулятор стоит 700к рублей какие там вопросы купить пару ведер или к примеру диски SSD по 40к за штуку. Это все расходники которые на нормальных продакшенах за месяц отбиваются, если не за неделю. Я поэтому не хотел бы полемику разводить что можно дешевле и написал, не в деньгах вопрос. На аппаратку денег нет по бюджету, да и не стоит такой проект таких затрат. Но 300-400к это не вопрос.
Vladimir Zhurkin, Прочтите мой вот этот MacPro или самосборка на Win10 в данном случае?
Я работаю и не увидел каких-то сползаний. Мне больше интересен не спор Мак против винды, ведь там речь идет о продакшене, а не о домашнем стриме где реально можно начать терять деньги. Авермедиа никто использовать не будет по причине что это если честно не более чем фуфло в красивой обертке для профессиональных задач.
Да, фишка в том, что надо загрузить кодирование ffmpeg притом в несколько потоков (а точнее сразу 12 потоков c 3 сурсов RAW 1080p30). Есть выбор использовать MacPro (ведро) или собрать компьютер.
Весь вопрос исходил из того что на современных процах и в макведре кодек этот в процессоре есть (H.264). Если есть в процессоре, то вопрос перекодирования сильно не ударит по проц.у А вот если нет, то скорее всего напряг будет посильнее и тут макведро может просто захлебнуться несмотря на 12 ядерный проц
Помогло, спасибо. Поставил где можно индексы с подобными полями, загрузка стала просто маленькая маленькая, особенно в других приложениях которые обрабатывают для этой таблицы данные. 700 тыс строк обрабатывалось и собиралось в 7500 10 минут без остановки. Сейчас сам не верю, 30 секунд и скрипт завершен. Обалдеть.
А индексы можно применять только на полях где какое-то значение есть постоянное, или еще например есть база 368000 строк, 200 в минуту прибавляет. База пользователей где ключ id auto и есть текстовый ключ VARCHAR_ID 16 Уникальный. Выборка идет именно по VARCHAR_ID. Можно индекс к нему или не стоит?
Дмитрий Евграфович: Расскажите мне, с чего вдруг скрипт должен умереть когда-нибудь. Ubuntu 14.04, PHP 5x
У меня скрипт работает мой уже 246 дней без остановки вместе с сервером. ЧЯДНТ? 60 mysql запросов делает и скрипт сам весом 35кб. Сделан потому что кроме PHP ничего не знаю
sim3x: Расскажите как. Я же в конце написал, что решение нужно. С сайта потому что на сайт динамический. Там все меняется походу стрима. Т.е чат иногда отображается и прочая хрень
Ржал с примера. Вам надо поставить в описание не "Начинающий верстальщик", а "Верстальщик с завышенным самомнением"
По факту пример - кусок безвкусного г*вна
https://developer.nvidia.com/video-encode-decode-g...