Homo Ludens

как объяснить программе, что на снимке снег, а что облака

если простыми способами по цвету или по соотношению интенсивности цветов на интервале (в общем аналитически) не получится, то собирай обучающую выборку (не весь кадр а небольшой участок, на котором ты как человек все еще можешь понять снег это или облако) и обучай нейронную сеть.

Примеров подбирай по больше, тысячами. Старайся чтобы количество с облаками, со снегом и без них было примерно одного количества. Яркость изображений нормализуй, сохраняй пометку об исходном уровне света (по текущей долготе и времени съемки можно понять день, вечер, ночь, утро...), кстати от времени года и высоте над уровнем моря наверное тоже можно понять, имеет ли смысл искать тут снег или нет. Затем увеличивай обучающую выборку вращением исходных примеров и запускай на обучение.

Вся работа тут - формирование обучающей выборки и подбор гиперараметров нейронной сети.

Ты код-то сам писал вообще? Потому что какую-то абсолютно несвязную фигню творишь, как будто чатгпт что-то нагенерил.

При обучении у тебя на входе модели свёрточный слой Conv2D. Такой слой по определению принимает на вход изображение. Ты задаёшь размер этого изображения как 28х28, что напоминает о популярной базе картинок цифр для обучения простых сетей MNIST. А дальше идёт вроде как простой классификатор на 10 классов, что тоже соответствует MNIST. Как будто из примера код взят.

А при тестировании ты делаешь embedding текста и подаёшь на вход какие-то обрывки полученных токенов.
Всё равно что пытаться присобачить половину ручной мясорубки к дизельному компрессору, потому что "ну оно же и там и там крутится!" Это вообще не может заработать в принципе.

Необходимо дообучить моделью Использовать stable diffusion LoRA (гугли: создание stable diffusion lora), это механизм сохранения информации дообученной модели таким образом чтобы она занимала мало места, всякие UI типа от automatic1111 предоставляют для этого интерфейс.

Закидываешь туда свои картинки, с текстовыми промптами, описывающие их (это тоже можно автоматизировать но настоятельно рекомендую вычитывать результат) и уже на основе полученной модели генерируешь свои.

Чтобы идентифицировать свой стиль, добавляешь в промпты соответствующую пометку типа

<lora:название_модели:коэффициент_влияния_например_1>

Там их даже можно смешивать, но чем больше мешаешь дообученные модели тем хаотичнее результат.

Технологический стек довольно простой и легко гуглится, потому что тема далеко не новая.
Но без корпуса данных для обучения этот стек бесполезен. Раз вы сюда пришли с такой формулировкой, то у вас такого корпуса явно нет.

Вам подойдет любая книга, где рассматривается работа нейросетей. Это касается "обучения НС с нуля". По сути, на этапе обучения НС получает ОГРОМНОЕ количество примеров, циклически обрабатывая которые, по много раз возвращаясь к началу обучения, через очень много циклов она начинает более-менее правильно решать задачу. Когда вы хотите это сделать он-лайн, причем ей на вход примеры будут насыпать "в час по чайной ложке" (а так и будет, если сравнивать скорость работы компьютеров и скорость подачи примеров людьми, даже если таких людей вы заставите работать не отходя от компьютера и наберете хоть пару сотен), то ваша НС через пару лет будет лепетать на уровне двухлетнего ребенка, потом еще пару лет на уровне трехлетнего. На более менее приемлемый уровень ("писать и обрабатывать объёмные тексты") она выйдет очень и очень нескоро. Если у вас цель понять, как учиться ребенок - то вот так это и происходит. А вот если у вас цель сотворить что-то реальное - то этот путь тупиковый и очень затратный.
Вот, хваленый СhatGPT когда только появился выдавал такой - в прямом смысле "детский лепет". Так это его предварительно обучали на миллиардном корпусе входных данных, на супермощных компьютерах и не один год(!). А вы хотите "с нуля" с ним посоревноваться?
Но если вас интересует просто попытка разобраться в том, как НС генерируют осмысленный текст ("хотя бы какую-нибудь наводку, книгу, статью" - т.е. у вас вообще нет понимания, как НС работают по разбору и генерации текстов) - то вот можно начать, например, отсюда:
https://habr.com/ru/companies/ods/articles/716918/ - это вообще-то полуразвлекательное чтиво, но некоторое представление дает.
https://habr.com/ru/articles/739014/ - тут уже посерйозней.
Но вообще-то уже начали выходить даже книги по ChatGPT (правда - в основном на английском), а по методам работы с текстовой информации - их вообще уже куча, на разный уровень читателя и с учетом различных его интересов. Ключевое слово для поиска "NLP - Natural Language Processing".
Удачи!

Не знаю, поможет ли это в вашем случае, но вы можете попробовать:
1. Внутри объекта по иерархии создаёте пустышку. вешаете ей коллайдер и твёрдое тело
2. Твёрдому телу ставите Body Type = Kinematic (для 2д) или Is Kinematic = true (для 3д)
3. Выставляете объект так, чтобы пуля ударилась сперва о его коллайдер.

Как бонус, вы можете сделать несколько таких объектов (для рук, ног, головы, тела) и передавать скрипту игрока разные коэффициенты урона. Типа, например, попадание в руку 20%, а в голову 150%.

1. ffmpeg можно запустить непрерывно и он будет класть скрины в папку, но вам этот вариант не подходит.
Команда примерно такая:
ffmpeg -i rtsp://someserver.com -vf fps=1 screenshot%d.png

Но с точки зрения решения задачи ffmpeg лучший вариант.
Вы хотите каждую секунду закидывать в сеть, только допускаю что забыли что в секунде есть энное количество кадров. И вам в секунду может приходить размазанный кадр. Уж не знаю что за задача у вас, но ffmpeg можно очень тонко настроить и не будет привязки к непонятному модулю

Вот поиск мне тут выдал: https://github.com/agsh/rtsp-ffmpeg

Не знаю сможет потянуть вашу задачу или нет, но тут связка ffmpeg и nodejs

1. Arduino - это не МК, а отладочная плата / плата для прототипирования
2. Сами МК не делятся на "промышленные" и "любительские". Тк в такой классификации просто нет смысла.
3.

наверное надежностью?

Надёжностью при определённых условиях могут отличаться некоторые специальные серии микроконтроллеров.
4.

какая разница в цене?

Открываешь каталог и сравниваешь :)
Где-то разницы нет, а где-то разница может быть в несколько порядков, в зависимости от требований

если надо сделать умный дом или ферму, или теплицу.. (не работа в профессиональной индустрии)
что лучше выбрать?

То что будет лучше отвечать поставленным требованиям.

Почему нативные модули не так просто скомпилировать под любой контроллер?

Потому что нужен компилятор под нужную архитектуру и код должен быть написан так что бы он под эту архитектуру в принципе компилировался. К тому же компиляция это обычно долго. Поэтому для популярных нативных модулей авторы распространяют заранее скомпилированные файлы (тот же sharp), но только для какого-то набора популярных операционных систем и процессоров.

В нативных модулях добавлены куски из других языков или как это происходит?

Да. Обычно на C/C++, но может быть что угодно, Rust, Go, да хоть ассемблер.

И как в npm понять, какие модули ванильные, а какие нативные?

Обычно это в документации написано, но формально никак пока не попробуешь поставить.

Подача 220 не должно включать устройство, оно должно включаться только кнопкой без фиксации, точно также, как мы включаем компьютер =)

Насчет мерять CO2 на улице - бестолковая идея....
Даже в центре мегаполиса на оживленной улице вряд ли значение превысит порога в 700 ppm (если только вы не живете где-нибудь в крупных городах Китая или там - Индии), что весьма неплохо для закрытых помещений, между тем большее влияние на здоровье будут оказывать совсем другие показатели.
Ну и надо понимать что даже если на улице высокий уровень CO2 - вряд ли у вас в квартире будет меньше, если конечно баллонами кислорода предварительно не запаслись.
CO2 меряют в закрытых помещениях, где он способен накапливаться, а не на открытом пространстве, где его значение будет стремиться к 400ррm...

Вам мерять CO надо (датчик типа MQ-7), содержание твердых частиц в воздухе (датчик типа GP2Y1014AU0F), либо качества воздуха - CO NO2 NH3 (датчик типа MICS-6814) и прочие...

А вы вообще двигатель как подключали?
Учитывая, что про драйверы ни слова, то сразу скажу, что напрямую от ножек контроллера двигатель крутиться не будет. :)
Нужно городить драйвер для управления двигателем/купить готовый шилд.