Ответы пользователя по тегу Нейронные сети
  • Как реализовать обучение нейросети в реальном времени?

    @dmshar
    Вам подойдет любая книга, где рассматривается работа нейросетей. Это касается "обучения НС с нуля". По сути, на этапе обучения НС получает ОГРОМНОЕ количество примеров, циклически обрабатывая которые, по много раз возвращаясь к началу обучения, через очень много циклов она начинает более-менее правильно решать задачу. Когда вы хотите это сделать он-лайн, причем ей на вход примеры будут насыпать "в час по чайной ложке" (а так и будет, если сравнивать скорость работы компьютеров и скорость подачи примеров людьми, даже если таких людей вы заставите работать не отходя от компьютера и наберете хоть пару сотен), то ваша НС через пару лет будет лепетать на уровне двухлетнего ребенка, потом еще пару лет на уровне трехлетнего. На более менее приемлемый уровень ("писать и обрабатывать объёмные тексты") она выйдет очень и очень нескоро. Если у вас цель понять, как учиться ребенок - то вот так это и происходит. А вот если у вас цель сотворить что-то реальное - то этот путь тупиковый и очень затратный.
    Вот, хваленый СhatGPT когда только появился выдавал такой - в прямом смысле "детский лепет". Так это его предварительно обучали на миллиардном корпусе входных данных, на супермощных компьютерах и не один год(!). А вы хотите "с нуля" с ним посоревноваться?
    Но если вас интересует просто попытка разобраться в том, как НС генерируют осмысленный текст ("хотя бы какую-нибудь наводку, книгу, статью" - т.е. у вас вообще нет понимания, как НС работают по разбору и генерации текстов) - то вот можно начать, например, отсюда:
    https://habr.com/ru/companies/ods/articles/716918/ - это вообще-то полуразвлекательное чтиво, но некоторое представление дает.
    https://habr.com/ru/articles/739014/ - тут уже посерйозней.
    Но вообще-то уже начали выходить даже книги по ChatGPT (правда - в основном на английском), а по методам работы с текстовой информации - их вообще уже куча, на разный уровень читателя и с учетом различных его интересов. Ключевое слово для поиска "NLP - Natural Language Processing".
    Удачи!
    Ответ написан
    Комментировать
  • Синтез/озвучка голосом Высоцкого?

    @dmshar
    Ищите тут https://neurohive.io/ru/
    или тут
    https://yiu.co.uk/deepindex/
    Ответ написан
    Комментировать
  • Какие есть стандартные наборы данных для тестирования и сравнения нейронных сетей?

    @dmshar
    Ну, можно еще и тут:
    https://huggingface.co/datasets
    Ответ написан
    Комментировать
  • Где научиться работать с генеративными нейросетями?

    @dmshar
    А что мешает набрать в гуугл "генеративные нейросети" и начать разбираться самостоятельно? Вы же даже свой стартовый уровень не указали, кому советовать-то? Научные статьи - это (как бы помягче сказать) - для тех кто уже в теме. Вы уверены, что это то, что вам нужно? Но они вопросы "а какие статьи почитать" не задают. (Посмотрел ваш профиль - это скорее всего не про вас). А если вам просто разобраться и понять, как работают генеративные нейросети - то открываем гуугл, читаем первые три-пять ссылок, изучаем их, начинаем понимать и набирать ссылки следующего порядка, в которых уточняется то, что вы уже прочитали. Идем по этим ссылкам, пока не почувствуем, что понимаем о чем речь. Уже и книжки на русском стали издавать по теме. Например - https://habr.com/ru/companies/piter/articles/504956/
    Что мешает самому это найти?

    Платные курсы - категорически не рекомендую. Ну разве что вы старшекласник, который вообще не привык самостоятельно учиться и ожидает, что ему как в школе, нужный материал разжуют и в рот засунут. Или по любому поводу привык бежать в интернет вопросы задавать, потому как самостоятельно думать так и не научился. Во взрослой профессиональной жизни все уже не так - там что самостоятельно нашел и укусил - то твое. На курсах вам как правило перескажут то, что легко находиться в Гуугл, причем сделает это кто-то, уровень профессионализма кого вам не известен. (это как минимум), а дикция и умение ясно изъясняться могут оставлять желать лучшего. Ну и еще - книгу можно прочитать и разобраться, допустим з 200 часов упорной работы. На курсах вам то-же самое изложат за 20. (очень заманчиво звучит - "от профана до профи за 20 часов"), Ну пусть еще 30 часов вы будете над заданиями работать самостоятельно. Как вы думаете - какую часть темы и нужного материала вы сможете при этом усвоить?
    Ответ написан
    Комментировать
  • Какая конфигурация нейронной сети лучше для временной последовательности?

    @dmshar
    По определению, нейросети для прогнозирования временных рядов - это RNN и их развитие LSTM. Ну и всякие дальнейшие производные от них.
    Но вообще-то, прежде чем кидаться в нейросети для прогнозирования временных рядов обычно пробуют оружие поспокойнее - модели Брауна, Хольте-Винтерса, регрессионные методы выделения трендов, ARIMA, SARIMA и пр. А иногда и обычное скользящее сглаживание вполне нормально работает.
    Ответ написан
  • Нейросети, пакеты, библиотеки, откуда такая сложность?

    @dmshar
    Ну, во-первых, раз вы уже побывали на GitHub - то и загляните в код TensorFlow, посмотрите чего там есть. Думаю, это логичнее чем спрашивать об этом на форуме. Да и объяснение, полученное таким образом будет более точным, чем фантазии неизвестно кого на форуме.
    Во-вторых, float работает быстрее Decimal. Потому как float - это аппаратная реализация, а Decimal - программная надстройка. При расчетах, которые и на float длятся неделями и месяцами, 'представьте, сколько бы оно работало на Decimal.
    В-третьих. "перестраиваемый двусвязный список изменяемых коэффициентов" - рекомендую освоить начальный курс по "структурам данных и алгоритмам", для того, что-бы понять когда можно применять любые списочные структуры, а когда необходимо использовать линейные структуры типа массивов. Нейросеть - это в подавляющем большинстве случаев фиксированная структура с необходимостью прямого доступа к каждому элементу. Отсюда и выбор наиболее подходящих структур представления данных. Ну, а когда дело дойдет до всяких backpropagation и прочих gradient descent - вот тогда вопросы такого рода окончательно и отпадут.
    В-четвертых. Персептрон - это малюсенькая часть того, что составляет любой пакет для работы со взрослыми нейросетями. И нейросети не сводятся к "связям" и картинкам нейронов, взятых из учебников биологии. Все прелести там начинаются, когда надо делать что-то, что хоть на чуть-чуть сложнее одинокого персептрона.
    Поэтому пока рекомендую все-таки разобраться в теории нейросетей. Потом посмотреть на реализации. Подсказка - сейчас вышло довольно много учебников по этой теме, где скорее всего будут готовые ответы на 99% вопросов, которые у вас будут возникать по ходу. Их можно легко найти в сети, в том числе и на этом форуме такие списки уже появлялись несколько десятков раз, поэтому тут приводить их не буду, А судя по вопросам - не мешает вспомнить и основные, базовые концепции программирования. Вот тогда картинка в голове сложиться полная. И если после этого что-то действительно останется неясным, недопонятым - вот тогда приходите с такими конкретными вопросами на форум, попробуем разобраться вместе.
    А отвечать на вопрос - "что тут сложного" не получиться. Сложного там действительно ничего, если предварительно разобраться во всем этом хозяйстве, выделив на это часов 500-1000 времени.
    Ответ написан
  • Построение нейро-нечетких сетей?

    @dmshar
    Встречались мне такое понятие, даже в Википедии оно присутствует:
    https://ru.wikipedia.org/wiki/Нейро-нечёткие_системы
    или вот даже книжечка на этот счет есть
    https://studme.org/133119/informatika/intellektual...

    Если лично мое мнение, то несмотря на то, что первую вышедшею на русском языке книгу Лотфи Заде про нечеткие множества, логику, лингвистические переменные и прочее я прочитал еще в 1977 году, и потом достаточно долго этой темой увлекался - постепенно мое отношение стало абсолютно скептическим. Не вижу прикладных задач, в которых этот аппарат позволил бы решить хоть какую-то задачу быстрее, красивее, проще и пр., чем без ее применения.
    Но если надо посмотреть - то ссылочки вверху. Копайте.
    Ответ написан
    Комментировать
  • Как интерпретировать код YOLOV5 под свои нужды?

    @dmshar
    Да нет, все правильно вы делаете. И сеть обучали теоретически правильно, и дальнейший план составили нормально. Другое дело "хочу" и "могу" это как бы разные вещи. Если у вас сеть обучена правильно, т.е. ваша архитектура сети и веса подобраны правильно, то дальше вы можете вообще писать свою систему на чем угодно - хоть на Python, хоть на Julia, хоть на С++, хоть на Go.... в общем, на чем угодно, на чем вы свое "хочу" лучше сумеете превратить в "могу".
    В Гуугле гайдов вы ненайдете, потому-что в Гуугле размещают по сути "рекламно-образовательные" тексты/ролики, из которых суть понятна, а вот как ее воплотить в реалии - нет. Поэтому, конечно, всегда лучше разбираться по книгам.
    Если вот в одном абзаце - то на этапе обучения у вас происходил цикл: подали данные на вход, получили какой-то отклик (ответ) , немного дернули коэффициенты и далее по кругу. В конце получили модель (набор коэффициентов) . После того, как вы решили, что сеть достаточно обучена, вы просто разрываете этот цикл и убираете из него подстройку коэффициентов. Остаётся "подали данные - получили отклик". В вашем случае отклик-ответ (не уверен, ибо не спец в нейрохирургии) - выделение на снимке некоторой зоны мозга. Ну вот собственно ваша задача и решена.
    Ответ написан
    Комментировать
  • Какой тип нейронной сети лучше подходит для работы с числовыми входными параметрами разной длины?

    @dmshar
    Начнем с простейшего вопроса. А как вы собираетесь определять вероятность уязвимости, если вы будете все "основывать на ответах пользователей."? Как вы себе это представляете? Но даже если теоретически представить, что вы что-то такое создадите, то она будет показывать не правильный ответ, а тот ответ, которые есть в голове вашего пользователя и который очень не факт, что соответствует реальному ответу.

    Теперь вопросы конкретные "Я столкнулся с проблемой выбора нейронной сети для работы с различным количеством входных параметров." - можно попросить вас перечислить те проблемы, с которыми вы столкнулись. Но только с конкретными. Очень даже стало интересно. Может что и посоветуем.

    числовыми входными параметрами разной длины - так вопрос в параметрах разной длинны или с разным количеством параметров? Вы уж как-то определитесь, т.к. это совершенно разные вопросы.

    Использовать фиксированный размер 10 и заполнять пустые значения нулями.
    Изменить размер до фиксированного (примерно 7), но подойдет ли это для числовых значений?
    - а почему 10, почему 7, если параметров у вас может быть до 12? Остальные будете с негодованием отбрасывать?

    но подойдет ли это для числовых значений? - а каковы еще могут быть значения, если вы работаете на компьютере, конечно, а не решаете задачу на бумажке?

    Использование RNN, но RNN в основном используются для текста и речи, и будут ли они также работать с числами? Раскрою вам секрет. При работе с текстом и речью входные данные сначала диджитализируются, а уж потом поступают на вход нейросеть. Странно, что вы этого не понимаете, ориентируясь на keras.

    Есть ли другие варианты и какие из них были бы наиболее правильными? Наиболее правильным будет сначала открыть какую-нибудь книгу и изучить, что такое нейросеть и как она работает. Или хотя-бы нагуглить какие-нибудь статьи для новичков в интернете. На худой конец, на этом сайте набрать тег "нейросети" и посмотреть какие вопросы там задаются и как на них отвечает (последнее, конечно, так себе решение, но хоть какое-то понятие о нейросетях и работе с ними получите, а также какие книги/ресурсы по нейросетям рекомендуют, потому как переписывать это сюда в двадцать восьмой раз не хочется). А пока вопрос настолько сырой, что дать не него какой-нибудь близкий к правде жизни ответ практически невозможно.
    Ответ написан
    Комментировать
  • Какие книги по нейросетям, ИИ, и Маш.Обучнию лучшие?

    @dmshar
    Маленький совет как для новичка. Если начинаешь изучать что-то новое для себя, надо не "самую лучшую" книгу по теме искать, а самую понятную. Что далеко не одно и то-же.
    И да, книги которые вы привели в вопросе, они вполне понятные, так что читайте. Только учтите, что на то, что-бы въехать в эту тему надо столько времени, что вряд ли какой-нибудь вменяемый заказчик согласиться ждать.
    Ответ написан
  • Как подготовить windows ПК для локальных расчетов Нейросетей с JupiterNotebook?

    @dmshar
    Не знаю, у меня уже пару лет, каждый год примерно 50-60 студентов 2-го курса устанавливают все это "с нуля". Практически - самостоятельно, может быть за все время 2-3 человека обратились за помощью. Просто берут стандартный пакет Anaconda, в который по умолчанию входят и Python, и Spyder, и Jupiter и все, что нужно на пару лет вперед для изучения Machine Learning, включая нейросети. Все ставиться абсолютно автоматически, по умолчанию, в нужной последовательности, в самом актуальной конфигурации. И никаких танцев и размышлений "что за чем".
    Так что если все делать аккуратно - то все там просто.
    Что касается " Jupiter с других устройств по ЛС/Wi-Fi." - то теоретически ответ "да, можно". Если сумеете поднять web-сервер и организовать раздачу. Только вот что-то мне подсказывает по вашему вопросу, что для этого вам мягко говоря придется еще очень много чего предварительно изучить. Ну, вы поняли.
    Ответ написан
    Комментировать
  • SerpentAI выдаёт ошибку при создании датасета. Что делать?

    @dmshar
    Вы документацию читали? Там же четко английским по белому написано:
    "If you run into any errors, open an issue in the Issues tab and I'll see what I can do. But try googling first. You'll probably find answers from people that know more than me."
    Вы пробовали сделать то, что вам советуют? Ну например, нагууглили, что "the NumPy object type 'O' is created when the NumPy array itself has mixed element types (e.g. np.int8 and np.float32)" ? Вот и ищите, где и какие данные вы неправильно задаете, путая их типы.
    Ответ написан
  • Какие нейронки подойдут дял обработки человеческих тел/лиц?

    @dmshar
    Готовый сюжет для фильма ужасов: "нейронка, обрабатывающая человеческое тело".
    Ответ написан
    Комментировать
  • Выбор оптимального метода распределения банкоматов по территории города?

    @dmshar
    А что тут советовать. Метод выбрали. Метод МОЖЕТ сработать (гарантии предварительно дать никто не может), значит надо просто пробовать. Получиться - отлично. Нет - будете разбираться почему и искать пути решения возникших по ходу вопросов. Если вопрос а том, как использовать выбранный метод - то глупо об этом спрашивать на форуме. Просто открываете соответствующие книги, читаете и применяете. Там все написано - подробно, с примерами и даже кое где с реализациями.
    По второй задаче - а не расшифруете, что вы имели ввиду под "определить оптимальное количество на n территории"? То-ли каково тут должно быть число n - но тогда надо определять, что такое "оптимальность" в данном случае. То-ли вы имели ввиду как распределить банкоматы на n-ной территории". То-ли ві хотели определить, а сколько банкоматов вам вообще нужно. Дайте точную формулировку. Тогда и говорить о чем-то будет можно.
    Ответ написан
  • Как вычислить веса линейного классификатора?

    @dmshar
    Не надо изобретать велосипед. Ваша задача - это классика. Называется
    Метод_опорных_векторов (https://ru.wikipedia.org/wiki/Метод_опорных_векторов).
    Имеется куча литературы, да и в интернет тема раскрыта неплохо.
    (Просто несколько ссылок для "раскрутки"
    https://www.projectpro.io/data-science-in-r-progra...
    https://www.analyticsvidhya.com/blog/2021/03/begin...
    https://habr.com/ru/company/ods/blog/484148/

    Правда она математически сложнее регрессии. Но если вам надо - читайте, изучайте, применяйте.
    Ответ написан
    Комментировать
  • Интерпретация результатов classification_report обученной модели KNeighborsClassifier библиотеки sklearn?

    @dmshar
    Не пойму, в чем проблема интерпретации отчета? Ну вот объяснение, более-менее вменяемое.
    https://muthu.co/understanding-the-classification-...
    надеюсь, что такое precision, recall, f1-score,support и как их трактовать - вам известно. На всякий случай:
    https://www.jcchouinard.com/classification-report-...
    bazhenov.me/blog/2012/07/21/classification-perform...
    Если порыться, можно найти и медицинско-диагностическую трактовку этих метрик
    Ответ написан
    2 комментария
  • Как применить машинное обучение для медицинских данных (пример данных под катом)?

    @dmshar
    Сегодня по количеству работ по применению методов машинного обучения медицина наверное занимает второе место после финсектора. А вы спрашиваете, что можно сделать. Да что угодно - про IBM Watson надеюсь слышали? Так это только самый известный пример.
    Ну вот из последнего. Нечто даже прямо с habr'a.
    https://habr.com/ru/company/first/blog/682516/
    https://webiomed.ru/blog/obzor-rossiiskikh-sistem-...
    https://habr.com/ru/post/673312/
    https://towardsdatascience.com/machine-learning-in...
    https://towardsdatascience.com/ai-for-healthcare-a...
    https://developer.ibm.com/product-doclinks/
    https://www.cnews.ru/articles/2019-11-20_nmits_onk...
    https://data-flair.training/blogs/big-data-in-heal...
    ну и так далее. Читайте, смотрите, думайте. Одно знаю абсолютно точно (по опыту). Для того, что-бы разрабатывать такие системы нужна очень плотная кооперация и взаимопонимание между условным врачом и условным датасаентистом. А поскольку такие задачи с "налета" не решаются - у "врача" должна присутствовать очень мощная заинтересованность, а у обычных "энтузиастов" из-за сложности задач запал заканчивается как правило довольно быстро. И остается ИТ-специалист с полуготовым решением на руках, которое и не приткнёшь никуда, и не лицензируешь и уж тем более не доведешь до ума без помощи "врача". Поэтом у врача должен быть какой-то внешний стимул, причем очень сильный.
    Причем и "врач" и "датасаентист" в данном случае - это не один человек, а некоторые группы соответствующих специалистов. Иначе получите поделку, которая никому кроме самого автора и нафиг не будет нужной. Учтите это, когда будете искать "сотрудников".
    Ответ написан
  • Какой язык наиболее актуален для переписывания нейросети с питона перед её размещением на робототехническом устройстве?

    @dmshar
    Обученная нейросеть это по сути алгоритм, с помощью которого решается реальная задача. Алгоритм может быть разным, но чаше всего - это в конечном итоге некая математическая формула. Причем живущая не сама по себе, а взаимодействующая с другими компонентами системы (например - с системой управления того-же пылесоса, или системой управления автомобилями из ваших примеров). В свою очередь это предполагает, что эти системы уже функционируют на некоторых процессорах, встроенных в объект. Отсюда ответ - Нейросеть "в режиме продакшн" может и должна быть реализована на том языке, на котором имеется компилятор для вашего процессора. Как правило, это действительно "С", "С++" или "Go", но могут быть варианты. Надо смотреть и решать именно исходя из характеристик целевого вычислительного устройства (процессора).
    P.S. Идеальный вариант, конечно, всегда ассемблер соответствующего процессора, как язык, позволяющий писать наиболее эффективные на этапе выполнения решения. Но позволительна такая роскошь с точки зрения наличия соответствующих разработчиков, стоимости, а также скорости разработки - другой вопрос. Наверное Тесла может себе такое позволить. А вот некий маленький стартап - не уверен.
    Ответ написан
    Комментировать
  • Какие книги есть по нейронным сетям?

    @dmshar
    Книги говорите вам найти, по нейросетям, да еще и на русском... Сложнейшая задача....
    Ловите:
    Аггравал Ч. Нейронные сети и глубокое обучение. Учебный курс.
    Микелуччи У. Прикладное глубокое обучение. Подход к пониманию глубоких нейронных сетей на основе метода кейсов.
    Паттерсон Дж., Гибсон А. Глубокое обучение с точки зрения практика.
    Гудфеллоу Я., Бенджио И., Курвилль А. Глубокое обучение.
    Траск Э. Грокаем глубокое обучение.
    Николенко С., Кадурин А., Архангельская Е. Глубокое обучение.
    Рашид Т. Создаем нейронную сеть
    Шолле Ф. Глубокое обучение на Python

    Только вот тем, кто не научился самостоятельно выполнять такой простейший поиск, а уж тем более - не осилил английский на уровне хотя бы чтения технической литературы - я очень настойчиво НЕ рекомендую даже начинать заниматься нейросетями. Просто совет.
    Ответ написан
  • Есть ли готовая нейросеть для подбора алгоритма формирования контрольной суммы?

    @dmshar
    А причет тут НЕЙРОСЕТЬ?? Расчет СRC абсолютно строго формализованная алгоритмическая задача. И ее реализаций - как и описаний в интернете - более чем много. И он-лайн, и не он-лайн
    https://moonback.ru/page/checksum
    https://soltau.ru/index.php/themes/dev/item/461-ka...
    и т.д.
    Ответ написан