rPman

Не гадай - считай.

Берешь размер моделей, которые тебя интересуют, умножаешь на 4 (размер моделей в весах, каждый вес это 2-4 байта, сильно зависит от алгоритма, и часто есть оверхед по требованиям) - и тогда ты сможешь делать обучение (не только finutuning но делать с нуля свою модель). Для просто использования можно пользоваться квантизацией, уменьшающей потребление памяти в разы (8bit - 1байт на вес, 4bit - пол байта на вес).

Если в оперативную память видеокарты влезут еще и обучающие данные - это будет win-win, если будет можно сразу несколько моделей там продублировать - как я понимаю чуть ли ни линейный прирост к обучению (ну может в квадратный корень из количества).

Потребительские видеокарты быстрее современного процессорного железа в задачах ML - в лучшем случае в 10 раз, точно читал что при использовании хороших интел процессоров (инструкции avx512...) можно добавить прироста в тех же llm чуть ли не 2х..3х, но придется сильно ковыряться с софтом, по простому там начинаются конфликты версий (у меня не получилось по простому собрать transformer чтобы использовать ускорения просто intel avx2, есть готовые докер образы от интел но внутри другие проблемы лезли), но почти наверняка в простых ситуациях все будет хорошо.

Для finetuning потребительские видеокарты вполне подходят, народ арендуют железо на vast.ai и вроде бы довольны.

Итого, если твое время не слишком высоко стоит (т.е. ты готов вместо нескольких часов обучения тратить недели) то тебе хватит и процессора (не скупись на процессор, а вот оперативную память не обязательно брать топовую), особенно если альтернатива тратить 100х больше денег (не шучу) на a100 80GB железки и получать да может 20х прирост к скорости, но стоит ли?

И наоборот, если тебе не надо крутить модели сложнее 1b-5b, то почему бы и не задействовать для этого GPU. Но для ML подходят пока только nvidia (в этом мире правит тот, подо что есть эффективный софт, amd тут догоняющие, причем в 2-3 раза хуже)

p.s. точно есть fpga железки, например в слот ddr3, в теории их можно использовать для и вычислений, но вот лучше-хуже это будет я не смог понять, надо покупать и тестировать.

при намного меньшем энергопотреблении?

не совсем, в режиме вычислений, либо мобильный чип проработает недолго и понизит скорость кратно из-за повышения температуры, либо не хватит питания. А так да, 8 лет разницы дают знать, энергопотребление на единицу вычислений упало на порядок.

p.s. Китайцы делают франкенштейнов, заворачивают мобильные чипы в корпус-переходник и продают как дешевые десктопные процессоры (само собой разблокировав там лимиты по питанию и температуре).
-----------

К сожалению помимо FLOPS железа нужно смотреть еще и на софт, умеет ли он оптимально использовать мощности оборудования, и есть ли у него такая возможность в принципе (да, смартфоны могут быть очень мощными устройствами но доступ ко всей этой мощи может быть ограничен функционалом игр)

https://hi-news.ru/computers/pochemu-igrovye-monit...

144 — это 24 умноженное на 6. Все текущие герцовки дисплеев делятся на 24: 120 Гц, 144 Гц, 240 Гц, 360 Гц.

Серверное железо скорее всего да, но как и где - читать в документации, все делают по разному
Потребительское оборудование с вероятностью 99.(9)% - нет, либо это спрятали далеко далеко.

Если тебе нужно контролировать машину - блокируй доступ в биос паролем, на сколько я знаю при включенном secure boot изменение конфигурации не позволит загрузиться. Не самое дешевое (скорее всего gaming серии) потребительские материнские платы позволяют даже свои ключи подписи загрузчика добавить (не уверен, можно ли удалить тот что есть, чтобы нельзя было загружаться в livecd linux и winpe, пописанных глобально)

Важно что ты будешь делать с этими видеоускорителями внутри виртуалок. Играть бессмысленно. Вычисления гонять - глупо. Очень очень мало задач, которые бы требовали одновременно несколько видеоускорителей в одной машине и не могли бы сравнительно эффективно работать на нескольких.

Как то считал и прикидывал, и понял что себестоимость виртуальной машины с проброшенной видеокартой выше чем стоимость отдельной железки той же производительности, причем значительно.

Есть есть деньги, организуй кастомные корпуса с охлаждением и собирай кластер из mitx материнок с любой десктопной видеокартой (спасибо tenserflow все кушает) через рейзер (боком), из них получатся аккуратные блейды (блокпитания+материнка+видеокарта).

Не экономь на рейзерах. Не экономь на охлаждении (даже о воде). Задумайся о 10G сетях, если тебе нужно считать, да тут материнки пошли с 2.5Gbit, уже приятно.

Можно попытаться восстановить отвалившуюся клавиатуру с помощью команды

pnputil /restart-device "PCI\VEN_8086&DEV_3EA0&SUBSYS_14311043&REV_00\3&11583659&1&10"

код можно посмотреть в свойствах устройства в диспетчере устройства

примерно так перезапускали зависшую видеокарту майнеры

эту, удивлен что стоит всего 10т.р.

ну или смотри самую дешевую с чипсетом b660

p.s. проблемы ВСЕГДА будут, неожиданные, случайные, странные
почитай отзывы к этой материнке что я указал

Не нужно ничего кроме видеокарты в твоей машине менять, 16gb RAM + SSD и твой процессор более чем достаточно для игр, тем более не топовых.

Потрать все видеокарту nvidia rtx 3060 или 2060 (выбирать из доступных больше vram), плюс на остаток купи ssd по больше размера. Почему nvidia и больше памяти? чтобы была потенциальная возможность поиграть с нейронками (хотя 8гб хватит на многие, лучше брать на вырост)

Различие в том что второго нет в продаже ;)

Это один и тот же диск но нужно понимать какой именно диск внутри знает только производитель (в комментариях на разных сайтах пишут что сигейт но какая модель хз).

Это 5Тб 2.5", на грани возможностей современных технологий, а значит диск с черепичной записью, что подтверждают отзывы о замедлении записи со 100мб до 10мб. Если это не является проблемой - то почему нет.

Современные жесткие диски очень ненадежные, шансы помереть в гарантийный срок или сразу по его окончанию - достаточно высокие (проценты, даже дорогие серверные за 5 лет умирают с шансом 1%, а дешевые десктопные дают все 7%), нужно это помнить.

dns пишет что гарантия 3 года, для мобильного диска это хороший срок, так что если бы такое нужно было бы это было бы одним из критериев выбора

Не там смотришь скорость dram.

Да у ddr4 максимальные скорости чтения/записи данных именно таковы и являются одной из ограничений дальнейшего их роста (с помощью контроллера памяти данные с ssd диска по линии pci-e копируются напрямую в ddr4 память, они не могут быть скопированы быстрее чем это физически позволяет оперативная память или канал pci-e).

Но! материнские платы позволяют объединять модули памяти с помощью технологий dual channel/triple channel/quad channel буквально умножая доступную пропускную способность в 2/3/4 раза, но заметно это только на специфичных задачах и синтетических тестах, когда как для обычных задач прирост скорости считанные проценты.

p.s. Современные ssd диски, точнее энергонезависимая память произвольного доступа, на столько быстрые, что возможно создание систем где ram в принципе заменяется ими, и возможна разработка софта (linux как ядро, на сколько я понял, готов к этому, но вот софт нет) оптимально работающего в такой среде, что может повысить скорость работы даже не в два раза а на порядок. Существуют модули памяти, построенные по этому принципу (это имело смысл пока не изобрели pci-e m.2 nvme стандарт)

p.p.s. не сильно верь таким тестам работы ssd, всегда делай это с оглядкой на размер файла данных, в пределах которого проводился тест, в данном случае в Crystal Disk Mark установлен всего 1Гб, что легко вмещается во внутренний кеш накопителя, стоит только общему размеру данных увеличиться в 2-3 раза, как итоговая скорость записи (а именно она критична для ssd) падает на порядок.

Например дешевый nvme диск может давать легко 500мбайт/с чтение и такую же скорость записи, но как только будет записан условный гигабайт данных (за считанные секунды), эта скорость падает до 30мбайт/с

Дорогие ssd диски имеют бОльшую минимальную скорость записи и бОльший кеш отложенной записи, но эта настоящая скорость записи все же будет в несколько раз меньше скорости чтения.

m.2 слота у тебя нет (pci-e он называется так как многие из них подключены напрямую к pci-e линии, что исключает задержки из-за протоколов sata, но на самом деле m.2 nvme диски быстрые при сравнительной дешевизне потому что у них контроллер заметно проще, часть работы перекладывает на процессор и память на материнке)

так что бери sata 2.5" диск

p.s. существуют pci-e контроллеры m.2 nvme дисков, стоят примерно 1-2 т.р.
p.p.s. так же существует m.2 sata стандарт подключения дисков, особого смысла в нем я не вижу, только что если остальные слоты уже заняты

Так уж получилось, что виртуалки (когда их несколько) лучше работают на серверных материнках, в идеале многопроцессорных, там может в однопоточных тестах будет хуже результат стабильность работы и наличие ecc памяти не оставляют выбора.

Но выбирают обычно по деньгам.

Пять виртуалок, минимум по 2 ядра на каждую (windows как минимум одно ядро хочет под свои задачи, иначе будет очень медленно, проверено), чем будет занят linux в виртуалках не понятно,.. лучше бы перечислил задачи, которые будут решать эти машины а не инструменты, которыми ты будешь их настраивать

Если выбирать десктопные железки под абстрактные задачи рядовых пользователей, то первый критерий - наличие большого кеша l3 у процессора и высокая скорость в тестах single thread, количество же ядер уже не так важно (хотя как уже сказал выше, ориентируйся на 2 ядра на виртуалку только чтобы запустилось и работало, просто браузер еще пару ядер пожелает, чтобы тот же ютуб не подлагивал, хотя кто будет в здравом уме это в виртуалке запускать), отсюда бери топовые камни но с уменьшенным количеством ядер, они обычно по цене заметно ниже бывают.

Второй критерий - хорошая быстрая оперативная память, можно сэкономить на процессоре и даже на материнке, но на оперативной памяти не стоит!

Еще я помню кто то 'с пеной у рта' убеждал что именно vmware заметно лучше работает на интелях, что такое 'лучше' я так и не понял, плюс это было до появления райзен и зен от амд, а они сейчас наиболее привлекательные по соотношению цена-производительность в десктопном сегменте.

clonezilla (есть как загрузочный диск так и стандартный пакет в linux)

Универсальный инструмент, умеет работать как с linux файловыми системами так и windows ntfs/exfat/fat32 (он использует утилиту partclone), автоматически скопирует как mbr и подправит таблицу разделов и главное максимально эффективно (быстрее чем dd, потому что пропускает свободное место) склонирует диск

Есть проблема, возможна ситуация (редко), когда из-за фиксированного размещения таблицы ntfs mfat, возможности по уменьшению раздела будут ограничены, даже при наличии свободного места, тогда единственный способ корректно перенести раздел с системой будет backup-restore средствами windows (только он корректно переносит права доступа, символические ссылки и прочее)

Еще одна проблема, ее может породить стандарт EFI (иногда не требуется), потребуется обновить информацию о загрузочных записях об ОС в биосе, запустив соответствующие утилиты, для windows - инструменты восстановления установочного компакт диска, а для linux переустановкой загрузчика (скорее всего grub) или вручную с помощью efibootmgr

Может ли OBS так делать? - да, в потоке есть место куда сложить отпечаток.
Делает ли? - не знаем, и чтобы ответить на вопрос нужно будет реверсить код и анализировать трафик.

НО задайся вопросом, зачем им это делать? случайно так не получится, необходимо чтобы стриминговая платформа как то договорилась с разработчиками OBS об этом.

p.s. исходники программы открыты