• Учат ли наши отечественные ВУЗы Big data?

    @dmshar
    Все верно, за исключением одного :"дифференциальный анализ" - это явно "не оттуда".
  • Задача по Python как решить?

    @dmshar
    Из документации по Pandas
    Of course df.groupby('A') is just syntactic sugar for df.groupby(df['A']), but it makes life simpler.
    (https://pandas.pydata.org/pandas-docs/stable/user_...)
    Попробуйте полную версию оператора, В вашем случае -
    position.groupby(position['month'])

    Возможно у Яндекса баг. Ну, не любят они "сладкого".
  • Задача по Python как решить?

    @dmshar
    А дайте-ка распечатку хотя-бы head вашего набора данных.
  • Что лучше: курсы или техникум?

    @dmshar
    Теория правильна. Но кто его возьмет на работу, на которой можно учиться? Если в городе даже универа с соответствующей специальностью нет? Про фриланс или удаленку с таким уровнем знаний - не надо. Там точно не учатся.
  • Обучение data science, machine learning, big data, business analyst?

    @dmshar
    Ну, это же совсем не то, что вы спросили с самого начала:
    Стоит ли начинать обучение по Data Science в онлайн школах и, если да, то в какой?

    Как буквально вчера написал в другой теме
    Порекомендуйте хороший курс по python 3.8?
    уважаемый Сергей Горностаев
    "Выбирая курсы, вы выбираете проигрыш в конкуренции на рынке труда тем, кто выбрал книги." И это абсолютно правильное мнение. На этом форуме мы имеем "удовольствие" наблюдать выпускников таких курсов, которые хоть и прослушали их, но поняли почти ничего. Ни одни самые лучшие курсы никогда не дадут вам того, что дадут книги. Ну, еще хотите ссылок -
    https://towardsdatascience.com/sorry-online-course...
    Почему видеоуроки — это зло?

    Хочу используя инструменты data science решать реальные бизнес задачи

    А какие бизнес задачи вы хотите решать? Бизнес задачи для маркетинга, бизнес-задачи для биоинформатики, бизнесзадачи для кибербезопасности, бизнес задачи для финансов,? В каждой из этих бизнес-сфер как и в сотне других используются одни те-же методы, но вот интерпретация их разная. Поэтому лучше сразу понимать, что-же вам надо, где вам легче всего получить и проинтерпретировать данные, что-бы искать книги с "прицелом" на выбранный домен применения.

    Ответов на эти вопросы на этом форуме масса, соответственно и людей которые "искали" на них ответы. И получали. В разных вариантах. Но вам эти ответы почему-то не подошли? Почему? Вы так и не объяснили.

    Ну ладно, вот вам информация для первоначального размышления
    https://proglib.io/p/data-science-faq/
    https://www.kaggle.com/getting-started/73164#lates...
    https://tproger.ru/curriculum/computer-science-ste...
    https://datascience.org.ua/articles/data-science-k...
    https://dev.by/news/kak-izuchit-data-science
    https://proglib.io/p/learn-data/
    https://mlcourse.ai/
    https://www.cyberforum.ru/ai/thread2010374.html#po...
    https://towardsdatascience.com/data-science-for-be...
    https://medium.com/sciforce/a-laymans-guide-to-dat...
    https://towardsdatascience.com/getting-started-in-...
    https://activewizards.com/blog/intro-to-data-scien...
    https://towardsdatascience.com/9-reasons-why-youll...

    А вот - прямо с этого форума:
    С чего начать обучение машинному обучению / deep learning / data mining?
    С чего начать изучать глубокое обучение?
    С чего начать изучение искусственного интеллекта?
    Как стать data scientist?
    Машинное обучение, что нужно знать в математике?
    Был курс, но не могу найти его снова, по питону и машин леарнинг?
    Математика для машинного обучения и нейронных сетей при школьной базе знаний?
    С чего начать изучать машинное обучение?
    С чего начать изучение ML?
  • Обучение data science, machine learning, big data, business analyst?

    @dmshar
    zmrche, Если отзывам в интернете верить нельзя, то почему вы задаете вопрос в интернете?
  • Я начинающий программист, кто нибудь может обяснит то что написано в принте?

    @dmshar
    NikName5654, По Python - уже издано наверное сотня учебников. Это на русском языке. Берете любой - и вперед. И зачем вам "несколько"? Начните с одного, а что будет непонятно/нехватать - доберете в интернете.
  • Я начинающий программист, кто нибудь может обяснит то что написано в принте?

    @dmshar
    NikName5654, Т.е. вы не только учебники не читаете, но и информации по ссылкам, которые вам дают? Иначе как понять, что после ответа на информацию про оператор % вы задаете вопрос "% какую роль играет"?
  • Можно ли обучить нейронную сеть с одним входом, тремя выходами и одним скрытым слоем?

    @dmshar
    Александр Синицын, Ну, если чисто теоретически, как замена набившей оскомину задаче "нейросеть для XOR", то да, можно. Тем-же самым многослойным персептроном. Качество будет скорее всего так себе, но если просто для интереса, то сойдет.
  • Можно ли обучить нейронную сеть с одним входом, тремя выходами и одним скрытым слоем?

    @dmshar
    Простите, а причем тут нейросеть?
    Вы знаете, к какому выходному значению должна привести каждый вход? Если да - то это типичная система, управляемая по входам, есть явная функциональная или алгоритмическая зависимость. Чему сеть УЧИТЬ? И зачем? "Если на входе значение 3 то подай значение 1 на выход 1" ?
    if inp=3 then out3=1
    Где тут место нейронке и ее обучению?

    Другое дело, если бы вы просто получали на вход свои сигналы - или вернее их последовательность - от сенсора, и хотели бы определить момент, когда система вышла из нормального состояния. Тогда понятно хоть чему сеть учить - по последовательности на входе выдавать "нормальное"/"аномальное" состояние. А в вашем случае?

    А вот этот вопрос "Вопрос, как нейронка может отличить 1 от 2.. 2 от 3 на одном входе?" - вообще не понятен. Что значит "как". Вы же не картинку цифры подаете и хотите сеть научить эти картинки различать. А само значение. Что надо различить нейронке?
  • Как написать алгоритм по определению шансов абитуриента поступить на специальность?

    @dmshar
    Зффект Даннинга-Крюгера в чистом его проявлении.
    Пришли и задали совершенно безсмысленный ни с точки здравого смысла ни в отношении к вашей задаче вопрос
    Как обойти все вершины графа за минимальное количество итераций?
    (Правда, потом оказалось, что "Вы 3 этап читали? Видимо нет, в нем рекурсия применяется три раза - 3 итерации", ну то таке.)
    Привели несвязный набор предложений, с логическими нестыковками и явными ошибками, который якобы описывает ваше будущее приложение (в которое уже в процессе внесли кучу исправлений, дополнений и уточнений). Когда вместо восторженных откликов услышали критику - бросились хамить. Вместо вдуматься в замечания - (не считая, указанных исправлений, введенных вами втихаря) - начали переход на личности - даже не представляя собеседника. Демонстрируя, что вы уже выучили, что такое математическая логика и что вы - нет, не выучили, но может быть посетили пару лекций по моделированию. Кстати, раз вы уже "получили задания" по курсу "Базы данных", но не поняли, что универ учит в первую очередь рассуждать, т.е. самостоятельно думать - то поняли бы, что к "обходу графа, который еще не существует" ваш прямой поиск в БД отношения ну никакого не имеет.
    Ладно, радуйтесь. Ваше приложение гениальное, ваш алгоритм вычисления места на котором находится абитуриент в списке поступающих - непревзойденный. А ваша модель - единственная, потому правильная. А вы вообще достигли совершенства. И учиться - т.е разбирать свои ошибки - вам не к чему.
    Удачи.
    P.S. Думаю, если лет через десять вы перечитаете то, что вы тут написали - вам станет смешно. А через двадцать - стыдно. Хотя врят-ли. По теории - те, кто подвержен эффекту Даннинга-Крюгера обычно чувства стыда за свое невежество не испытывают. (Но я уже понял, что и про этот эффект вы тоже ничего не поняли. Ибо рассуждать вас так и не научили. Жаль.).
  • Кто может объяснить суть задачи Три попарных максимума?

    @dmshar
    Saboteur, Вопрос же в другом. (На оборот относительно вашего примера).
    Задано
    х=100, y=200, z=300.
    Найти a, b, c, если известно, что x=max(a,b), y=max(a,c) и z=max(b,c)
  • Кто может объяснить суть задачи Три попарных максимума?

    @dmshar
    Да нет, тут нечего уточнять.
    Вопрос в том, как именно вычислить abc. Если ничего не придумать, то только полным перебором. Что грустно.
    А логические рассуждения позволяют явно решить задачу, проверив несколько условий над xyz. И либо сразу принять решение о невозможности, либо сразу и однозначно получить искомые abc.
    Кстати, в отличии от большинства "олимпиадных" задач, этой скорее всего можно придумать "случай из жизни".
  • Как написать алгоритм по определению шансов абитуриента поступить на специальность?

    @dmshar
    Это просто феноменально:
    Второй модели у меня нет, так что остается одна, она простая, значит адекватная.
    Это же в каком универе учат так рассуждать? Неважно, что она вообще не "модель", а невесть что, ну какие-то фантазии на тему, мало чем подкрепленные. Неважно, что ее результаты никому ни о чем не говорят, а значит - бессмысленны. Неважно, что можно построить другую, более адекватную модель. Зато одна и простая. А значит - адекватная.
    Я коллекционирую фразы местных недоучившихся и недооцененных гениев. Эту фразу забираю в коллекцию.

    Теперь по пунктам.
    1.
    Да, это самый простой расчет шанса поступления.

    Да не считаете вы никакого шанса!
    Ну наколдовали вы там что-то и говорите абитуриенту - твой шанс на специальности Х- 10%, а на специальности Y-90%/ Ну, послушал он вас (вы же ради таких советов огород свой городите), и забрал документы cо специальности X. А те, кто были перед ним - тоже пошли на другие специальности (т.е. ваш клиент мог бы и пройти). И рванул он туда, где вы ему насчитали 90%. Но там никто документов не забрал. Вот невезуха. Вас совесть в итоге на замучит после таких советов? О чем говорят ваши шансы??? И ваша как бы "модель"? Какие дополнительные знания она дала вашему пользователю? Какую пользу принесла? Какую его проблему решила?

    2.
    Интересный, на много более точный, чем общепринятый в ИТ способ формулирования алгоритмов способ (тот который "особенно людям, незнакомым с предметной областью понять трудно"). Сначала сказать:
    Здесь еще нужно учитывать тип документа с отрицательным весовым коэффициентом
    потом
    Не тип документа с весом, а умножается на вес.
    . Ну да ладно, спишем это на ваш опыт и привычку "точно" выражать свои мысли. Но:
    Таким образом получим "Тип документа" * "Шанс поступления". 0*Z = 0 и 1*Z = Z
    . Т.е., Z - это "Шанс поступления"? Если "тип документа" - подлинник (т.е. по вашему -0) и был "Шанс поступления"=100%, то шанс поступления по вашей формуле обнуляется??? Ладно, допустим вы алгоритмы писать еще не научились, и в данном случае опять просто что-то там перепутали или не дописали. Предположим. Но каким образом "шанс поступления" конкретного абитуриента может зависеть от его же "типа документа"??? А если ВДРУГ вы имели ввиду (не высказав это явно), что это шансы (и документы?) конкурентов, то почему конкурент получив 80% ваших шансов, будет обязательно оставаться там, где у него лежит оригинал, а не идти туда, где у него 90% но лежит копия?

    3.
    Вершинами является информация о студенте.
    Если это так, то что означает связь в вашем графе? И главное - зачем такой граф обходить? Причем обходить "все вершины"??? Еще и обязательно за "минимальное количество итераций"?

    4.
    Вам почитать теорию, что такое граф и для чего он применяется?

    Вы знаете другой способ построить граф?

    Про то, какой граф при этом вы собрались то-ли строить, то-ли обходить, а главное - зачем, вы так и не рассказали.

    5.
    Вы не со школьником разговариваете. Вы 3 этап читали? Видимо нет, в нем рекурсия применяется три раза - 3 итерации.

    Да, я уже понял, что разговариваю со студентом третьего курса. Который слышал слова "итерация" и "рекурсия". И ваш "этап 3" я читал. Только вот я понял, что рекурсию от итерации вы таки не отличаете.

    6.
    Из вашего словесного потока в виде "ответа" никакой толковой информации я не получил.

    Ну, как минимум четыре исправления в ваши первоначальные фантазии по ходу вы уже внесли. Очевидно, что не потому, что я указал вам на проблемы, а потому, что вас осенило. Бывает.

    7. На всякий случай, повторю то, с чего начал "Если хотите критики алгоритма - до дайте алгоритм, а не какой-то отрывочный набор слов." продираться через который больше нет никакого желания. Не требуется помощь - удачи в реализации вашего "мобильного приложения" (Только денег за него не берите, а то может кончиться не только мучениями совести).

    И общее заключение:
    Да, сразу чувствуется опыт и практика, точность выражения мысли и умение ее ясно и недвусмысленно выразить, позволяющие делать такие заключения о других, как
    Если вы так рассуждаете об этом алгоритме, вы не работали с заказчиками.

    Не знаете, как решить другим способом, то и не надо тут строить из себя эксперта.

    Ваша некомпетентность уже в начале была под сомнением, а сейчас она выросла по экспоненте.
    (Прямо вот так и выросла, в ходе разговора??? Кошмар! Ну, хоть ваша "компетентность проявилась во всей красе. )

    Имеем возможность наблюдать эффект Даннинга-Крюгера в чистом его проявлении. (Кстати эффект это НЕ
    о недостатке своего опыта в рамках заданного вопроса
    Вы и этого не поняли).
  • Local variable referenced before assigment. Почему?

    @dmshar
    Вот этот код

    import collections
    answeres = {'fefewd':'cheburek', 'frgte':'cheburek'}
    ansc = collections.Counter()
    for value in answeres.values():
        ansc[value] += 1


    компилируется и выполняется без ошибок. Как говорится, найдите разницу.
  • Как написать алгоритм по определению шансов абитуриента поступить на специальность?

    @dmshar
    Да, но это невозможно просчитать, поскольку требуется знать данные по другим университетам.
    - вовсе не обязательно. И вполне нормально просчитывается. Более того, наиболее адекватно будет считать именно по вашему университету, а не по ВШЭ или Хацапетовскому Международному университету.

    "тип документа с отрицательным весовым коэффициентом",
    как "тип документа" может быть "с весом"? А ничего, что "тип документа" - это номинальная переменная, а "вес" - интервальная? Если вам такие понятия, конечно, известны.

    Не придумал ночью как добавить условный блок сюда без потери читабельности (если значение A-B < 0, вычитаем, разница берется по модулю; иначе не меняем шанс)
    Это такой способ ясного и понятного выражения своих мыслей? (
    Вы думаете, что блок-схема алгоритма будет понятнее? Они еще хуже для понимания, особенно людям, незнакомым с предметной областью
    .) Ага, написать что-то абы как - оно конечно всем на много понятнее.
    А что будет, если А=100, а B=300? Отрицательный шанс?
    Нет, для курсовой работы, конечно, сойдет. Но на публику, тем более - заказчику - я бы такое выставлять не рискнул. Да если препод у вас нормальный - тоже должен такой "брак" заметить.
    Абсурднее вопроса я еще не читал. А как Вы производите математическое моделирование?
    - Математическое моделирование - если вы уже прослушали этот курс - должно строить в первую очередь адекватные модели. И решать с их помощью полезные задачи. Повторяю вопрос, какое отношение то, что вы считаете имеет к ШАНСУ?? Все, что вы считаете, это как далеко от проходной черты находится ваш абитуриент. Для этого никаких умностей не надо, это и так понятно.