• Создание алгоритма для создания статистического отчета?

    @dmshar
    Если вы не можете САМИ решить тестовую задачу с собеседования - эта позиция вам ЕЩЕ не по зубам. Успокойтесь и начинайте не ответ искать, а разбираться, как решить ПОДОБНЫЕ задачи на следующих собеседованиях. Именно подобные а не конкретно "эту" - потому что на следующих собеседования вероятность попасть на ту-же задачу - почти нулевая.
    Недавно отвечал на очень подобный вопрос на этом форуме. Там был вопрос/ответ про алгоритмы, но суть от этого не меняется:
    https://qna.habr.com/answer?answer_id=1985526#answ...
    Ответ написан
    Комментировать
  • Диплом специалиста в IT заграницей, имеет ли вес?

    @dmshar
    Как мне кажется, в абстрактном "зарубежом" слабо понимают, что такое "специалитет". У них там две градации - бакалавр и магистр. Но может в РФ есть какие соглашения о взаимном признании дипломов между странами, в которых оговаривается, к каким западным дипломам приравнять специалиста.
    Ну вот, из Википедии:
    "В связи с правилами участия в Болонском процессе, квалификационная степень — «специалист» в ближайшие годы прекратит своё существование для поступающих в вузы стран, участвующих в программе единого европейского высшего образования, останутся академические степени высшего образования: бакалавр, магистр"
    С другой стороны (оттуда-же)
    Президент России Владимир Путин усомнился в необходимости разделения на магистратуру и бакалавриат для некоторых специальностей. Он предложил возродить старую систему
    Так что, к тому времени, как вы закончите Универ, озаботится наличием такого Соответствия вам возможно придется самостоятельно.
    Ответ написан
    Комментировать
  • В чём причина ошибки?

    @dmshar
    Интересно, в какой "этой сфере" имеется ввиду. Если в программировании на языке Python - то возникает вопрос: А новичек книжку хоть по Python открыл? Если бы открыл, то даже бы новичек понял, что вот тут:
    a=[]
    создается ПУСТОЙ список , а вот тут:
    = a[0]
    делается попытка из этого ПУСТОГО списка что-то прочитать.
    Это как-то "не очень", в какой бы сфере вы бы не специализировались.

    Кстати, могу предположить, что следующим вопросом "новичка в сфере" будет сначала
    Почему появляется ошибка, свзанная с xrange(0,num), а потом "а почему у меня ошибка в строчках:
    print min
    print index"

    Подождем.
    Ответ написан
  • Как из тензора спектограммы tensorflow получить снова массив амплитуд?

    @dmshar
    Примерно так-же, как из среднего получить значения ряда его составляющих. По простому - никак.
    Вы сначала умышленно существенно ограничиваете количество имеющейся в вашем распоряжении информации, а потом говорите - а как из этого сокращенного описания получит исходное расширенное.
    Ответ написан
    Комментировать
  • Как написать приложение для распознавания предметов?

    @dmshar
    Ну, если сама и с нуля - то это просто.
    1. Сначала разбираемся, что такое нейросети. Для этого неплохо заранее изучить и понять алгоритмы машинного обучения, а они предполагают владение линейной алгеброй, статистикой, оптимизацией (в том числе численной).
    По дороге разбираемся, что такое "обучение модели" и что такое "применение".
    2. После этого изучаем как получить изображение и работать с ним - как оцифровать изображение, как его препарировать для дальнейшей работы.
    3. После этого приступаем к изучению работы нейросетей, заточенных под работу с визуальными образами - ну тут можно ограничиться сверточными сетями. Правда предварительно надо разобраться с другими типами, но надеюсь, с этим справитесь легко.
    4. Не забываем параллельно на достаточном уровне освоить инструменты программирования - но если вы собрались писать "с нуля" и на java, то с java придется разбираться глубоко, тем более, что образцов на этом языке для подражания в выбранной вами области не так и много. На английском - встречал, но это для вас, надеюсь, не препятствие.
    Обучать модель написанную на одном языке, а потом ее перепрограммированить на другой - тот еще челендж. Но забавно, прибавляет сложностей к работе, повышает общий уровень профессиональных навыков и умений. Так что учить или нет Руthon дополнительно - решать вам самостоятельно.
    5. Ну а после этого - все просто. Собираем все перечисленное выше "до купы" - и ву-аля! - нейросеть для распознавания предметов готова. Правда, ее после этого придется обучить - ну, для этого у вас уже-ж заготовлено пару (десятков) тысяч размеченных изображений разных предметов, так что тут затруднений у вас не будет.

    Вот примерно как-то так. Впрочем, может какие шаги по дороге я пропустил - так что может список и немного расшириться. Тем более интересно, именно для этого и пишут нейросети в одиночку "с нуля" для развития себя как специалиста (правда, тут важно, что бы задел, который надо развивать уже был, и желательно - не элементарный).

    А еще лучше, найти какую-нибудь книгу, , благо сейчас их уже предостаточно, где хотя-бы бегло описаны перечисленные выше этапы - и используя ее как Roadmap двигаться к намеченной цели, углубляясь в "ответвления" по мере продвижения и необходимости. По крайней мере можно наедятся, что автор проведет вас через все нужные вехи пути. И на форум приходить с с конкретными непонятками-вопросами. А не с "объясните, как происходит этот процесс, хочу сам его весь написать с нуля, вот только не знаю, какие технологии можно использовать".
    Ответ написан
    Комментировать
  • Как подготовиться по алгоритмам к собеседованию(junior)?

    @dmshar
    Никогда не понимал, что значит "подготовиться к собеседованию". К экзамену понимаю - выучили "от сих до сих", ответили на вопрос, удовлетворили преподавателя, получили свою оценку и гуд бай.
    А к собеседованию? Что толку, если вы "нахватаетесь" за 4 дня каких-то отрывочных знаний, даже на что-то правильно (почти случайно) ответите на собеседовании без глубокого понимания. Вы ведь тут не препода обманываете, вы завтра должны решать будете не игрушечно-собеседную, а реальную производственную задачу. Работодатель думает, что вы спец по алгоритмам, а вы просто чего-то там "нахватались" перед собеседованием. Можно догадаться, как закончиться ваш испытательный период. Так зачем тратить время? Лучше его потратить на ИЗУЧЕНИЕ алгоритмов, и на следующем собеседовании не трястись что тебя спросят чего-то, что не успел прочитать. Тогда и работодатель поймет с кем дело имеет, и вам польза будет на будущее.
    В общем, собеседование - это не экзамен! К нему специально готовиться - себе во вред. Но на собеседовании надо показывать именно то, что вы собой на самом деле представляете. А если это не устраивает работодателя, то благодарить Бога, что на эту работу вас не взяли.
    Впрочем, вменяемый работодатель и не будет заставлять на собеседовании до запятой рассказывать конкретный алгоритм. А вот попросить сравнить, объяснить почему один из них лучше, быстрее, экономичнее и пр. другого очень даже может. Или например попросить вас для конкретной задачи и конкретных данных подобрать наиболее подходящий алгоритм. Вот к пониманию именно таких вещей и надо посвящать время подготовки.
    Ответ написан
    2 комментария
  • Какой уровень математической подготовки для Аналитика Данных/Data Analyst?

    @dmshar
    Сужу по уже почти суточному молчанию - всем уже НАДОЕЛО отвечать по три раза в неделю на одинаковые вопросы. Попробуйте утрудить себя поиском ответом на него хотя-бы по этому самому форуму. Ну листаните страничку со своим вопросом вниз и - о чудо - вывалиться с десяток вопросов аналогичных вашему. Я уже не говорю о самостоятельном поиске в Гуугл, в котором вам будет любезно предоставлено несколько сотен ответов на ваш совершенно уникальный и неповторимый вопрос.

    И да, без навыков самостоятельно поиска ответов на свои школьные вопросы Аналитиком Данных не стать, увы. Так что вперед - оттачивать необходимые умения и навыки.
    Ответ написан
  • Что надо знать, чтобы стать стажером в Data Science?

    @dmshar
    Scipy, scikit-learn, statsmodels..... главное понимать, что Data Science - это не знание методов fit() и predict(). И для того, что-бы стать настоящим специалистом в этой области надо от "хорошей математической базы в таких дисциплинах, как....." перейти к их настоящему и углубленному изучению.
    Ответ написан
    Комментировать
  • Почему SVM чувствителен к масштабам признаков?

    @dmshar
    Можно долго говорить, что масштабирование это нелинейное преобразование, объяснять - но все уже написано в книге. Поэтому лучше попробовать ручками написать функцию масштабирования и посмотреть, как она преобразует ваши точки (хотя-бы те, что на графике), и как она преобразует точки разделяющей прямой.
    Нарисуйте график, и тогда все вопросы сами отпадут, без заумных разъяснений.
    Ответ написан
    Комментировать
  • Как быстро усвоить большой объем информации?

    @dmshar
    При таком раскладе я бы шел итерационно. Сначала - бегло, все, в ширь. Т.е. просто понимаем, что, к чему и как устроено на этом предприятии. Но - повторю - поверхностно.
    Следующая итерация - начинаем углубляться, причем в какой именно точке - подсказывают обстоятельства (что-то случилось) или статистика (что чаше всего случалось раньше). Опять углубляемся до решения конкретной проблемы, понемногу затрагивая и смежные вопросы (задел на будущее).
    Если думаете, что человек, проработав 20 лет на одном месте не может столкнуться с новой для себя задачей , особенно в сфере ИБ - вы заблуждаетесь. Соответственно - комплексы "я чего-то не знаю" - отключаем сразу. Но да, особенно первое время придется учить много и постоянно, используя статистику предыдущих проблем. Не факт, что все запомнится, но основные опорные точки должны остаться в голове, и они в будущем, при возникновении реальной проблемы позволят вам найти решение быстрее и точнее.

    Ну и главный лозунг - "не запоминаем, а понимаем". Многим трудно это понять после 15 лет школьно-университетского стиля образования. Но в этом и есть формула успеха. Особенно в современном мире, тем более в информационных технологиях.
    Ответ написан
    1 комментарий
  • Какой алгоритм применить для решения задачи?

    @dmshar
    А в чем проблема?
    1. Выбрать некоторое множество скриптов так, что-бы сумма времен их работы была максимально близка но меньше 24 часов.
    2. Выбранные скрипты формируют отдельную последовательность скриптов. Выбросить выбранные скрипты из рассматриваемого пула.
    3. Если пул скриптов не пуст - перейти к п.1. В противном случае - закончить.
    Получаем некое количество последовательностей скриптов. Каждая такая последовательность запускается параллельно и независимо от других. Элементы в каждой из этих последовательностей можно запускать в произвольном порядке.
    Количество таких последовательностей - минимально возможное. А следовательно, минимально и количество скриптов, которые будут работать параллельно.

    Поскольку скриптов пусть несколько десятков, а планирование - статичное, т.е. "один раз и надолго вперед", пункт первый можно даже перебором сделать.
    Но вообще говоря задача сводиться в проблеме заполнения ранцев - известная задача исследования операций.

    P.S. Ни к Матстатистике ни к Python задача отношения не имеет. Да и к Аналитике - тоже. Типичная задача исследования операций.
    Ответ написан
    Комментировать
  • Как сделать прогнозирование погоды?

    @dmshar
    Прогнозирование погоды есть один из примеров использования раздела науки, который называется "Теория временнЫх рядов". Вот, ищем, читаем, разбираемся. Потом возвращаемся на форум с конкретными вопросами.
    Но вот после освоение этой теории, если захотите заниматься именно прогнозом погоды, придется еще и климатологией и метеорологией немного позаниматься. Без погружения в проблемную область все прогнозы не более чем школьная поделка.

    И да, к Python этот вопрос будет иметь отношения тогда, когда теория вам станет понятной и вы приступите к непосредственной реализации своей прогностической системы.
    Ответ написан
    Комментировать
  • Как узнать сколько элементов и их значений есть в словаре?

    @dmshar
    Если "у меня есть словарь" то абсолютно непонятно, как вы его умудрились создать, не понимая, как со словарем работать? Просто где-то скопировали готовый код, что-ли?

    dict = {'А': [173, 70], 'Б': 12345, 'С': 'Привет семье', 'D':{'D1':'Aу','D2':'[1,2,3]','D3':321}}
    for itm in dict.items():
        print(itm)


    Результат:
    ('А', [173, 70])
    ('Б', 12345)
    ('С', 'Привет семье')
    ('D', {'D1': 'Aу', 'D2': '[1,2,3]', 'D3': 321})


    Рекомендую все-таки учить Python по книжкам, а не по видосикам.
    Ответ написан
    4 комментария
  • Какие проекты выполнить по ML для более менее достойного портфолио?

    @dmshar
    Ну, например, автоматическое распознавание текста на фотографиях. Или определение физиологических показателей по видеозаписи лица пациента. Справитесь? Если нет - то в чем смысл вопроса?
    Выполнять надо те проекты, для выполнения которых у вас хватит знаний. По-моему, это очевидный ответ.
    Ответ написан
    Комментировать
  • Как запустить Python под другой ОС?

    @dmshar
    Hagel, Ну, не хотите устанавливать pip - используйте Anaconda. Судя по вопросу все (ну 99.99%) того, что вам потребуется в ближайшее время там есть. В том числе и pip.
    Ответ написан
    1 комментарий
  • Что нужно знать из матана и линейной алгебры для изучения Data Science?

    @dmshar
    Для того, что-бы начать изучение Data Science надо в первую очередь научиться самостоятельно Гууглить ответы на свои вопросы. Без этого, выпрашивая чужие подсказки на элементарнейшие вопросы - ну никак.
    Но если этого не освоили - то хотя-бы поиск по тому ресурсу, на котором собрались задавать вопрос.
    Если и этого не привыкли/научились делать - то вот срочно этим и займитесь. Потому что потом так и будете за каждым непонятным словом на форум бегать.
    А что-бы меня не обвинили, что я снова "недружественен к новичкам", дам вам несколько ссылок. Изучайте:
    Машинное обучение, что нужно знать в математике?
    Литература или какие-нибудь курсы математики для машинного обучения?
    Какие темы в математике необходимо знать, чтобы начать изучать машинное обучение?
    Как выучить всю нужную математику для нейронных сетей?
    Какие книги по data analysis стоит изучить? В частности по статистике и математике. Есть ли книги полезные для биоинформатиков?
    Насколько хорошо надо знать математику в data science?
    https://towardsdatascience.com/the-roadmap-of-math...
    https://www.kdnuggets.com/2020/06/math-data-scienc...
    https://habr.com/ru/post/432670/?_ga=2.266374283.4...
    Ответ написан
    Комментировать
  • Вопросы про нейроонную сеть?

    @dmshar
    А че так мало вопросов? Сказали бы сразу - "а ну-ка, по быстрячку мне тут курс нейросетей изложите."
    Вот только я удивляюсь, раз есть столько вопросов, неужели так сложно открыть любую книжку по машинному обучению, в которых ответы на все ваши вопросы уже есть, прочитать и разобраться? И даже на еще три десятка, которые у вас обязательно возникнут, когда вы найдет ответы на те, что вы уже задали. Что мешает? А уж когда в книгах не найдете ответы - вот тогда и искать помощи форума.
    Да и черпать информацию из научно-популярных видео для младших школьников, а потом спрашивать на форуме, "а как оно работает" - тоже на надо. Ответы - ищите в тех-же книгах, они там точно есть.
    P.S. Кстати, программирование хотя и имеет отношение к нейросетям, но это совершенно разные области знаний. Поэтому то, что у вас программирование у вас "что то вроде хобби" - ну вообще никакой полезной информации к вопросу не добавляет.
    Ответ написан
    5 комментариев
  • Как с помощью Pandas искать значения на пересечении ячеек?

    @dmshar
    Какой пример кода? Вот этот, что-ли?
    df.rr.loc[1]
    Обратите внимание, что iloc ищет по индексу-номеру, а loc - по значению индекса.
    В вашем конкретном примере - они (номер и значение) отличаются на 1.
    Ответ написан
    Комментировать
  • Как предотвратить бесконечный/долгий цикл/рекурсия при решении математической задачи в python?

    @dmshar
    Не понимаю, что у вас не работает. Пишем элементарный скрипт:

    n = 5**55555
    print(n)
    ns=str(n)
    len(ns)

    Код выполняется практически мгновенно.
    Чему равняется полученный результат я тут писать не буду, но вот последний вывод, который говорит, сколько цифр в вашем числе приведу: 38832.
    Так что надо не ошибку предотвращать, а просто ограничивать числа, с которыми вы работаете.
    Ответ написан
  • Как сделать чтоб matplotlib не сжимал график по оси x с датой?

    @dmshar
    Что значит - "выглядел как"?
    На первом графике - рисунок построен по тикам.
    На втором - по датам.
    Как вы от второго переходили к первому или наоборот - сие нам не ведомо. Но Matplotplb считает, что расстояние между двумя объектами - эквидистантны. И ему не важно - как - в тиках или в датах - вы ему эти данные подсовываете. Поэтому тут не Matplotlib надо разбираться, а с тем, как вы сделали переход между разными моментами фиксации значений.
    Покажите ваш набор данных примерно между 2021-04-05 и 2021-04-07 - и все станет понятно.
    Ответ написан