• NumPy как переписать алгоритм?

    @dmshar
    Ну, в пару или нет - считайте сами:

    import itertools
    import numpy as np
    many_arrays=[np.array([1,2,3]),np.array([4,5,6]), np.array([7,8,9]) ]
    many_arrays2=[np.array([1,2,3]),np.array([4,5,6]), np.array([7,8,9]) ]
    prd=itertools.product(many_arrays,many_arrays2)
    dists=[]
    for it in prd:
        dists.append([np.linalg.norm(it[0]-it[1]),it[0],it[1]])
    sorted(dists, key=lambda x: x[0])


    Результат:
    [[0.0, array([1, 2, 3]), array([1, 2, 3])],
    [0.0, array([4, 5, 6]), array([4, 5, 6])],
    [0.0, array([7, 8, 9]), array([7, 8, 9])],
    [5.196152422706632, array([1, 2, 3]), array([4, 5, 6])],
    [5.196152422706632, array([4, 5, 6]), array([1, 2, 3])],
    [5.196152422706632, array([4, 5, 6]), array([7, 8, 9])],
    [5.196152422706632, array([7, 8, 9]), array([4, 5, 6])],
    [10.392304845413264, array([1, 2, 3]), array([7, 8, 9])],
    [10.392304845413264, array([7, 8, 9]), array([1, 2, 3])]]
    Ответ написан
  • Какие книги университетские по математики читать для нейронных сетей?

    @dmshar
    Ну наконец-то на форуме появился кто-то, кто понимает, что врачу, для того, что-бы начать оперировать больного надо выучить много чего - от анатомии до химии, а специалисту по DataScience мало нахвататься (в большинстве своем абсолютно бесполезных) видосиков из интерент, а надо разобраться в основах, в математике, статистике - а уж потом лезть в Deep Learning.
    Это не простой, но в общем-то единственно правильный путь. И не быстрый. Не даром в Универах (не только в наших, но и в американских) люди этому учатся годами, постепенно переходя от азов к более сложным вещам. И в конце концов - становятся способными не только вызвать метод fit, но и внятно объяснить, почему именно эту а не ту модель вот для этой задачи надо применять, а то и самостоятельно улучшить-дополнить-исправить имеющиеся реализации.
    Итак, что и как учить по математике, что-бы потом смело говорить о себе как о специалисте по нейронным сетям. Вот небольшой начальный список:

    https://towardsdatascience.com/the-roadmap-of-math...
    https://proglib.io/p/obuchenie-data-science-kakie-...
    https://habr.com/ru/company/skillfactory/blog/526972/
    https://habr.com/ru/post/432670/
    https://towardsdatascience.com/how-i-learned-linea...
    https://www.kdnuggets.com/2020/06/math-data-scienc...
    https://www.analyticsvidhya.com/blog/2020/03/deep-...
    https://www.analyticsvidhya.com/blog/2019/10/mathe...
    В приведенных источниках есть и ссылки на книги. Но вот еще насколько, полезных именно КНИГ:
    https://www.datasciencecentral.com/profiles/blogs/...
    https://www.amazon.com/Hands-Mathematics-Deep-Lear...
    www.d2l.ai/chapter_appendix-mathematics-for-deep-l...
    https://www.amazon.com/Mathematics-Machine-Learnin...
    https://www.manning.com/books/math-and-architectur...

    Удачи обучении!
    Ответ написан
    Комментировать
  • Как сделать правильно рандомную выборку без специальной функции?

    @dmshar
    Как конвертировать массивы и списки в ДатаФрейм - описано в любом руководстве по pandas.

    Двумерный список:

    import pandas as pd
    import numpy as np
    list_a = [[1,2,3,4,5],
              [6,7,8,9,10]]
    columns = ['a','b','c','d','e']
    df_a = pd.DataFrame(list_a, columns=columns)


    Массив nympy:

    pd.DataFrame(np.random.rand(3, 2), columns=['foo', 'bar'])


    Дальше комбинацией этих возможностей.

    P.S. И обращаю ваше внимание, что согласно правилам этого форума - ставить второй вопрос в качестве ответа на первый - запрещено. И вообще, правило - "одна тема - один вопрос", т.е. новый вопрос оформляется новой темой. Может вам как новичку и простят, но вообще-то тут за такое могут и забанить.
    И еще - ломать глаза картинкой никому не хочется. Все коды должны быть приведены в тексте вопроса в виде минимально воспроизводимого фрагмента.
    Ответ написан
    Комментировать
  • Как зделать проверку наличия обновления?

    @dmshar
    1. И pip и соnda отслеживают новейшие обновления основных приложений и по вашему запросу в состоянии определить, надо-ли что-то обновлять вам или нет.
    2. Для обновления каких-то специфических приложений, написанных кем-то (а не Python, все-таки наверное), настолько специфических, что в основных каналах их нет, и при отсутствии информации в документации проще всего обратиться к его разработчику. Может и нет никакого обновления. Но если вы за свое приложения денег не платили, то никто и не обязан обновления делать и тем-более консультировать по вопросам его использования. Только добрая воля разработчика.
    Ответ написан
    5 комментариев
  • Как сделать, чтобы при нажатии на кнопку появлялся виджет?

    @dmshar
    Написать соответствующий обработчик и связать его с кнопкой.
    А что из книжек по QT такие примеры уже убрали?
    Ответ написан
  • Существует ли алгоритм выравнивания входящих данных на python?

    @dmshar
    Пожалуйста, перечитайте свое сообщение, и попытайтесь представить, как оно читается глазами тех, кто хочет вам помочь
    Получаете три числа. ОК. Что значит "объект находится статически" - что за объект, что значит "находится"? Вы что, делаете распознавание объекта?
    Какое отношение имеет "координаты меняются незначительно" и то, что вы уже готовые данные получили на вход? Как только вы их "получили" уже никаких координат нет, а есть просто полученные данные, с которыми что-то там надо сделать. Что именно?
    "может быть есть какой то существующий вариант в библиотеках, который сможет это выровнять, или свести к нет." - что выровнять? Куда свести? С какой точностью свести? Что считать "подергиванием", а что сменой положения? Вам надо координаты объекта определять или весь объект (его изображение??) стабилизировать? Как можно решать эту задачу не сформулировав требования?
    Что значит "из за неточности 5-10 фреймов"?? Фрейм - это "рамка" или "кадр". А неточность - это (могу только предположить) некое различие в координатах, которое может быть измерено в километрах, микронах, пикселах, но точно не во фреймах и не в секундах.

    Пока, по вашему вопросу можно дать только одну рекомендацию - ну усредняйте ваши координаты за ваши 5-10 фреймов. Делов то - найти три скользящие (или даже не скользящие) средние по последовательности кортежей из трех элементов.

    Если вы дадите себе труд напрячься и более аккуратно, точно и формально сформулировать свой вопрос, то может быть у кого-то возникнет желание в нем разобраться и что-то подсказать.
    Ответ написан
    Комментировать
  • Как в pandas заполнить столбец по данным из этого же столбца в цикле?

    @dmshar
    То, с чем вы столкнулись вполне известный эффект, который называется "эффект цепочечного индексирования". Он описан в серьезных источниках по Pandas, которыми и советую пользоваться, а не всякими профанированными видосиками да статейками.
    Тем не менее, ответ на ваш вопрос прост:

    test=pd.DataFrame({"a":[5,3,None,4],
    "b":[None,2,4,3],
    "c":[4,3,3,5],
    "d":[5,4,None,None]})
    test.loc[test['c']==3,'d']=test[test['c']==3]['d'].ffill()
    test

    Результат:
    a    b  c    d
    0  5.0  NaN  4  5.0
    1  3.0  2.0  3  4.0
    2  NaN  4.0  3  4.0
    3  4.0  3.0  5  NaN


    Оно?
    Ответ написан
    2 комментария
  • Что делать если не выводится текст в файл?

    @dmshar
    Вы книжку какую по Python читать не пробовали? Про документацю даже не заикаюсь.
    Стандартная процедура записи в файл выглядит примерно вот так:

    lolo = open ('newproject.txt', 'w')
    lolo.write(.....)
    lolo.close
    Ответ написан
    Комментировать
  • Знает ли кто-нибудь источники о криволинейной корреляции?

    @dmshar
    Вообще-то говоря, нелинейная корреляция и нелинейная регрессия - это хотя и близкие, но несколько различные темы. Поэтому если вас интересует именно корреляция, а не регрессия, то могу рекомендовать заглянуть вот сюда:
    https://scask.ru/g_book_mkor.php?id=38
    Ответ написан
    Комментировать
  • Обучиться AR новичку сейчас?

    @dmshar
    Но мне бы хотелось получить качественное образование и ориентированное не только на игры. Вообще сейчас такие существует?
    - вам лучше знать, какие универы качественные а какие нет в вашей стране. Если хотите образование - выбирайте из топа списка университетов а не курсиков.
    Если есть базовое образование в области ИТ - тогда можно и самой, если есть цель, желание, способности и время.
    Если полный ноль - то ничего путного не выйдет если не начать с базы, т.е. с общего изучения ComComputer Science, Computer Engineering или подобных дисциплин.
    В любом случае быстро и легко - не выйдет.
    Ответ написан
    5 комментариев
  • Какой из двух типов обучения лучше?

    @dmshar
    Если для школьника младших классов - то 1+1+1.
    Если для более-менее взрослого человека, серьезно вознамерившегося что-то выучить, то
    5 часов на программирование+алгоритмы и 3 часа на английский. И так КАЖДЫЙ день, желательно без выходных и праздников.
    Тогда толк может быть и будет.
    Ответ написан
    1 комментарий
  • Как правильно составить стратегический план развития веб-сервисов с написанием документации по ним?

    @dmshar
    "От меня ждут сбор требований с менеджеров, составление списка задач, проставление и аргументацию сроков, поиск рабочих рук, написание планов по выполнению задач, фактическое техническое взаимодействие с подрядчиками".
    Ваша задача ничем не отличается от типичных задач любого менеджера проекта. Причем не только в ИТ, но и в любой другой отрасти - сбор, требований, анализ требований, составления плана реализации, управление бюджетом разработки и пр.

    Для меня это в компании роль новая, не хотелось бы бездумно нырять в этот водоворот.
    Вы уже нырнули, огласившись занять должность для которой у вас судя по всему нет ни опыта ни знаний.

    Есть что-то, что можно почитать на эту тему? Может какие-то практические кейсы с примерами составленной документации и т.д.?
    Тысячи книг и десятки тысяч сайтов с "чем-нибудь на эту тему". Включая практические кейсы, отработанные методики, лучшие практики и т.д. Гуглите по слову "Управление проектами" и читайте все подряд. Ну, можно еще уточнить "Управление проектами в области ИТ".
    Ответ написан
    Комментировать
  • Как продолжить график при помощи машинного обучения?

    @dmshar
    Кому "не нравятся"? Почему "не нравятся"? Может тот, кому не нравится - мало что понимает в данных?
    И какой ответ вы ожидаете получить, задав вопрос без исходных данных и без результатов? Ну наверное такой - "Линейная регрессия вполне себе нормальный метод машинного обучения. Разумеется, если хорошо понимать как им пользоваться. ".
    Ответ написан
    Комментировать
  • Онлайн образование. Как оно влияет на рынок?

    @dmshar
    Стоит ли переживать, что скоро нас станет слишком много и все превратиться в классическую фриланс биржу, где 1500 людей на один проект за пару баксов или же есть более благоприятные перспективы для нас всех?
    Говорят, что-бы понять что будет, надо знать что было. Просто взять примеры из прошлого и натянуть их на сегодняшние реалии. И не последние 3-5 -10 лет, а немножко глубже.
    Вот вам некоторые реальности. Начало 20-го века. Что бы собрать или чинить автомобиль надо быть высококвалифицированным инженером-механиком, с огромным багажом знаний. Сегодня профессия расслоилась на инженера автомобилестроителя, который проектирует новые автомобили где-нибудь у Форда или на Фольксвагене и дяди Васи в ближайшем гараже или СТО, ремонтирующим автомобили используя кувалду и разводной ключ.
    В начале 20-го века на любом заводе второй после директора человек - это не бухгалтер, как нам представляется, это электрик - высококвалифицированный инженер, способный поддержать бесперебойное самостоятельное(!!) генерирование электричество на собственной электростанции (а централизованого не было в принципе), его передачу к месту потребления, безопасное и эффективное использование, ремонт новейшего по тем временам электрооборудования - от лампочки до станка и пр. А сегодня? Даже главный энергетик на заводе - это весьма не фигура первого плана, а про рядового электрика я даже не говорю - у него не то что высшего образования - дай Бог, что-бы профильное ПТУ он закончил. Но лампочку он вкрутит и даже обрыв в проводке найдет и исправит - весьма квалифицированно.
    Та же самая картинка с сантехником - есть люди способные спроектировать сложное гидротехническое сооружение, а есть ЖЕКовкий сантехник, который "прокладку поменять да толчок прочистить".
    Крутой "инженер-электроник" 50-ых или 60-ых годов сегодня расслоился на того, кто создает квантовые компьютеры и того, кто в мастерской по ремонту телевизоров за углом чинит хлам, который к нему тащат.
    И так по очень многим профессиям. Включая медиков. Скорее всего - это некоторая "всеобщая закономерность развития профессий". Почему профессия программиста должна быть исключением? Я застал еще времена, когда человек, знающий пару операторов на языке программирования АЛГОЛ или ФОРТРАН (про Ассемблер -
    вообще молчу) считался крутым специалистом, которого были готовы взять в любой организации. А вне СССР - еще и на очень приличные деньги. Потом таких специалистов становилось все больше. И началось - сначала не очень заметное, но тем не менее - расслоение. Программирования худо бедно изучают в школе, так что знание языка программирования или двух - не критерий крутости. И не путь "наверх". Уже сегодня зарплата программиста в цивилизованных странах мало чем отличается от зарплаты экономиста, учителя или служащего. К этому обязательно все придет со временем и у нас. Кроме того обязательно произойдет то самое "расслоение" специальности на меньшинство тех, кто действительно будет обладать глубокими, фундаментальными знаниями и останется на топ позициях, и на подавляющее большинство тех, кто гордо назвался "разработчиком" выучив полтора фреймворка и чья работа сведется к рутинному кодированию на уровне "поменять кран" или "поставить новый выключатель". Ну, или "зафигачить новый сайт" или "закодить очередную никому не нужную игрушку". По сути - достаточно школьного образования (ладно, школьного образования образца 2030-года). За деньги, которые позволят нормально жить, но точно не вознесут в группу тех, чей доход будет существенно отличаться от среднего по рабочим профессиям в стране.
    Где окажется каждый из сегодняшних новичков - зависит только от него самого. Я уверен, что всякие курсы, учеба по видеоурокам и завлекалки "стань программистом за 5 дней"- это путь вот туда, в будущие "чернорабочие" от программирования. Что надо сделать, что-бы попасть в "топ" - это другая тема, но путь в ту группу точно не легкий, не простой и не быстрый. И будем откровенны - не для всех.
    Все сказанное выше - лично мое мнение и лично мое понимание тенденций развития профессии на ближайшие 20-30 лет. И я прекрасно понимаю, что у кого-то будет свое мнение, основанное на его собственном жизненном и профессиональном опыте. Поэтому высказываю его только для тех, кому это интересно.
    Ответ написан
    8 комментариев
  • Какие есть методы прогнозирования данных?

    @dmshar
    Непонятно, вы приводите статью, по сути элементарное введение в задачу, где все до предела упрощено и детально объяснено. Что-же еще мы можем вам дополнительно объяснить? И что значит "как считать", если вы даже формулу сами написали?
    Ну разве что сказать, что люди уже примерно 70 лет занимаются задачей прогнозирования временнЫх рядов, напридумывали кучу методов, алгоритмов, подходов, посвящают изучению этого вопроса много времени и сил, пишут книги. В университетах изучают такой курс, иногда по нескольку семестров. А вы хотите "не сложно" и с примерами. А есть c десяток библиотек и пакетов программ, от python scikit-learn до SPSS, в каждом по пару десятков методов прогнозирования. Но что-бы разобраться с ними да, надо напрячься и разобраться.
    Кроме того, совершенно загадочная фраза про необходимость прогнозирования "много и сразу" как причину "неканания" нейронных сетей. Я не их фанат, и считаю, что метод всегда надо подбирать под задачу, но причем тут "много и сразу"? А нейросети что, работаю понемногу и раз в неделю? Впрочем, не хотите нейросеть - используйте другие методы предсказаний, которых - как я уже сказал - есть много и разных.
    Ознакомиться с ними можно, например, вот тут:
    https://otexts.com/fpp2/
    https://habr.com/ru/company/ods/blog/327242/
    https://www.yakaboo.ua/book-at-prakticheskij-anali...
    statsoft.ru/home/textbook/modules/sttimser.html
    https://www.wiley.com/en-us/Machine+Learning+for+T...
    https://habr.com/ru/post/180409/
    https://www.youtube.com/watch?v=Rmh6b96u6UU
    https://www.springer.com/gp/book/9781475777505
    https://www.twirpx.com/file/560509/
    elib.cspu.ru/xmlui/handle/123456789/4811?show=full
    и т.д. до бесконечности.
    В общем, как появятся конкретные вопросы - возвращайтесь, попробуем вместе разобраться. Только с конкретными вопросами, а не с вопросом "а объясните мне ВСЕ, с примерами и как его считать".
    Ответ написан
    5 комментариев
  • Как это реализовать?

    @dmshar
    Ищите тут:
    https://neurohive.io/ru/novosti/
    и тут
    https://pub.towardsai.net/2020-a-year-full-of-amaz...

    На вопрос "Что посоветуете изучать?" ответ пока один - это зависит от того, что вы уже знаете. Если поведаете нам, то может и посоветуем что-то исходя из ваших текущим скилзов.
    Ответ написан
    Комментировать
  • Как правильно использовать цикл в питон?

    @dmshar
    А что в ваших краях Гуугл уже отключили?
    import time
    while True:
        time.sleep(5)
        superCombo(autohotpy,event)

    А с Гууглом надо что-то делать. Например - учиться искать самостоятельно, хотя-бы ответы на детские вопросы.
    Ответ написан
    7 комментариев
  • Как вытянуть контекст с текста и понять к чему он относится?

    @dmshar
    Если правда, что вы "Плохо разбираюсь именно в этой части МЛ", т.е. - в других разделах разбираетесь хорошо - то даю наводку. Задача относиться к задачам классификации. Сначала проводиться векторизация текста, потом применяются в общем-то стандартные процедуры обучения с учителем. Задача пожалуй одна из самых простых в области NLP. Для текстов - в том числе как коротких сообщений так и для полнотекстовых- решается довольно давно и довольно успешно. Когда-то кажется Reuters хвастался, что сумел заменил около 100 человек, классифицирующих тексты по разделам на одну программу NLP. Так у них еще и многоклассовая классификация.
    Информации по проблеме вообще, и именно по этой задачи в интернете более чем достаточно. Да и в книгах она уже описана, вплоть до реализаций, например

    S. Bird, E. Klein, E. Loper. Natural Language Processing with Python
    B. Bengfort, R. Bilbro, T. Ojeda. Applied Text Analysis with Python

    и еще:
    https://medium.com/sciforce/top-10-books-on-nlp-an...
    https://towardsdatascience.com/top-nlp-books-to-re...
    https://www.tableau.com/learn/articles/natural-lan...

    При таком обилии и подробности изложения информации в общем не очень понятно, какая именно вам помощь нужна. Только не "расскажите мне как решать эту задачу", а "вот таким методом решаю эту задачу и мне тут непонятно вот этот вопрос". Задавайте - может и поможем.
    Ответ написан
    Комментировать
  • Какую профессию выбрать для девятиклассника не знающего что такое IT?

    @dmshar
    "Физмат" для программиста нужен не потому, что он интегралы будет всю жизнь брать, а потому, что физмат развивает именно те "настройки" мозга, которые нужны для удачного программирования. Если этого нет - то зачем себя насиловать, делать то, к чему душа не лежит? Кстати, запоминать - что визуально, что как-то по другому - в современном программировании как раз особой нужды нет, в отличии от специфического логического и технического мышления.
    Почему именно в ИТ? Потому что в игрушки на компе гонять нравиться? Лучше искать те профессии, к которым есть склонность, а не плодить толпы неудачников. Даже с ИТ-образованием в кармане. Таких уже бродят тысячи, а через десяток лет будет вообще, как бухгалтеров-маркетологов.
    Ответ написан
    3 комментария