• Каким способом посчитать частоту сигнала по нескольким сэмплам?

    Maksim_64
    @Maksim_64
    Data Analyst
    чтобы вычислить частоту

    Сначала нужно определится о природе нашей проблемы. Стохастическая, детерминистическая, стохастическая + детерминистическая. Стохастическая значит - содержит вероятность (осуществляется моделирование посредством случайных величин), детерминистическая не какой вероятности нет, ну и третье проблема содержит и то и другое.

    Глянем примеры.
    f(x) = 2*x+3 - детерминистическая
    Normal(0,1) - стохастическая даст случайное значение из Гаусовго распределения с параметрами среднее 0 и стандартное отклонение 1.
    f(x) = 2*x+3 + Normal(0,1) - это третий кейс, когда мы накладываем шум на некую функцию.

    В машинном обучении мы делаем допущении что наша проблема имеет вид Y = F(X) + E.
    Где X - это наши данные на вход, Y - это результат и E это определенная случайная ошибка. Мы говорим существует некая функция F которая детерминистическая и она сопоставляет данные на вход и результат. Так вот задача определить функцию и подобрать параметры которые минимизирует ошибку E.

    То есть на выходе у нас не точная частота, а предсказание частоты (возможно довольно точная).
    В зависимости какие методики и какими свойствами должная обладать оценочная функция это либо scikit-learn либо statsmodels либо нейронки Tensorflow + Keras.

    Если идет поиск точной частоты (отсутствует вариативность в задаче) то это поиск обычных параметров функции. То есть все это должно быть представлено как система уравнений (при условии достаточности информации) и просто решено. это scipy, numpy, sympy.
    Ответ написан
  • Почему с помощью Pandas не меняются данные в строке CSV файла?

    Maksim_64
    @Maksim_64
    Data Analyst
    Ну смотри это происходит потому что мы ставим индексом ИМЯ и его же меняем, можно ли это обойти, конечно элементарно. Все оставляешь как есть вот здесь добавляем параметр
    df = pd.read_csv('directory2.csv').set_index('Имя', drop=False).rename_axis('_Имя', axis=0)
    что бы у нас колонка имя не пропадала, и меняем имя у индекса, что бы он отличался от имени колонки.
    ну и при записи в файл индекс не пишем что бы ничего не дублировалось.
    df.to_csv('directory2.csv', index=False)

    Так будет работать, как ты хочешь. Ну а вообще подумай над созданием колонки которую ты будешь ставить в индекс, что бы она была уникальная.

    И будь внимателен при парсинге ввода, там где указываешь имена колонок, если ты введешь колонку которой нет он ее просто добавит новой и все. df.columns должен содержать fields_to_change, по этому может добавочный небольшой защитный код написать придется, что бы например регистры не перепутались, пробелы лишние не оказались, можешь даже проверку ввести на ввод что пользователь ввел существующие колонки. Имена колонок лежат в df.columns
    Ответ написан
    3 комментария
  • Как в Python можно изменить запись в CSV?

    Maksim_64
    @Maksim_64
    Data Analyst
    Нет ничего проще для такой задачи чем использовать pandas.
    Вот сделал игрушечный пример, сначала создаю csv в первой части для демонстрации, потом обновляю любые подсеты данных, при вводе пользователя.
    import pandas as pd
    # Первая часть создание файла
    df = pd.DataFrame({
        'Name':['Petr','Maks','Aleksandr'],
        'Age':[30,40,50],
        'Salary':[500,700,600]
    })
    df.to_csv('data.csv', index=False)
    
    # Вторая часть обновление
    name = input('Введите Имя, чьи данные хотите изменить?  ')
    fields_to_change = input('Какие данные Вы хотите изменить? например Age, Salary: ').split(',')
    data_to_update = {}
    for field in fields_to_change:
        data_to_update[field] = input(f'Введите {field}: ')
    
    df = pd.read_csv('data.csv').set_index('Name')
    df.loc[name, fields_to_change] = data_to_update
    df.to_csv('data.csv')
    print('Спасибо, данные обновлены')

    Вторая часть это непосредственно код который будет обновлять. То есть та часть которая тебя интересует.
    Ответ написан
    2 комментария
  • Как исправить код? Что я делаю не так?

    Maksim_64
    @Maksim_64
    Data Analyst
    Попробуй другой распознаватель речи не google.
    Вот глянь код https://github.com/Uberi/speech_recognition/blob/m... там используются разные распознаватели в том числе и google. Поработай с ним, если начало что то получаться, то тогда начинай настраивать уже под свои нужды.
    Ответ написан
  • Как произвольно трансформировать изображение в Python?

    Maksim_64
    @Maksim_64
    Data Analyst
    Мало конкретики, а что собственно не получается. Если говорить в целом про геометрические трансформации. Сдвинуть ну просто вектор добавить, поворот матрицу с картинкой "умножить" (не по элементно конечно, математическое умножение (dot product) )" на матрицу с sin и cos, можешь загуглить какую именно, поменять размер опять таки математическое умножение на диагональную матрицу (все элементы 0 кроме тех что по диагонали) и т.д.
    opencv все это дело как и многое другое естественно поддерживает. https://docs.opencv.org/4.x/da/d6e/tutorial_py_geo... вот прямо из документации.

    За одно и с нейронными сетями "косвенно" познакомишься. Геометрические трансформации в многомерном пространстве это именно то что происходит в слое нейронной сети.
    Ответ написан
  • Поиск по большим файлам python?

    Maksim_64
    @Maksim_64
    Data Analyst
    Ну если файл 2гб чем pandas то не устраивает, можно еще и pandas ускорить использовать polars, у него схожий синтакс c pandas но поддерживает параллельное выполнение. Что для pandas что для polars такие выборки это будет одна коротенькая строчка кода.

    2гб не проблема в память загрузить, но и если бы файл был на много больше и pandas и polars поддерживают чтение файлов по частям. Вообще если нужна серьезная скорость, polars ,будет номер один там не numpy массив, а Rust Arrow. Не факт что тут polars нужен, ну вот глянь https://www.makeuseof.com/pandas-vs-polars-which-i... на сколько pandas быстрый, но polars выборка рядов по условию в 5 раз быстрее, а например применение функции, к столбцу или фрейму в 30 раз быстрее.
    Ответ написан
    Комментировать
  • Как получить доступ к свойству объекта JSON не зная его название?

    Maksim_64
    @Maksim_64
    Data Analyst
    Можно использовать pandas. Нормализовать json, кода всего ничего будет.
    import requests
    import json
    import pandas as pd
    response = requests.get(url="https://en.wikipedia.org/w/api.php?format=json&action=query&prop=extracts&exintro&explaintext&redirects=1&titles=Apple")
    info = json.loads(response.text)
    df = pd.json_normalize(info)
    print(df.iloc[:,-1][0])


    Более правильный способ будет брать колонку не iloc а regex выраженим в pandas так можно, потому что, название колонки будет содержать весь путь до extract и заканчиваться на exctract. То есть возможна более сложная и стабильная выборка. То есть вот так
    print(df.filter(regex='extract$',axis=1).iloc[0,0])
    Результат идентичный, но так на много надежнее, мы не надеемся что нужная нам колонка последняя, а находим ее независимо от ее положения.
    Ответ написан
    Комментировать
  • Правильно ли я понимаю устройство классов в python?

    Maksim_64
    @Maksim_64
    Data Analyst
    Нет у тебя абсолютно не правильное представление по все пунктам. Написание хорошего ответа на каждый вопрос потребует дней, при том что на все эти темы можно разговаривать на совершенно разных уровнях. Если хоть как-то в двух словах.
    1. OOP одна из парадигм в программировании в том числе поддерживаемая python.

    2. Объект это python абстракция для данных, все данные в python представлены в виде объектов или взаимоотношений между объектами. Отсюда и выражение все в python является объектом.

    3. В python каждый класс не явно наследуется от object класс. Да даже если мы не переопределим явно __init__ то он там есть. Например
    class MyClass:
        pass
    my_instance = MyClass()
    print(dir(my_instance))
    Там будет в том числе __init__ хотя мы его явно не определяли. __init__ это конструктор класса там могут быть заданы атрибуты которые будут в области видимости экземпляра класса, с которыми будут оперировать методы экземпляра класса, он выполнится при создании экземпляра класса.

    4. По скольку, ты еще совсем новичок, понятия "приватных" и "защищенных" атрибутов обсуждать совсем бессмысленно, к тому же их "приватность" она в ковычках, в python нет способа создать настоящий приватный атрибут, но это все совершенно лишнее для тебя сейчас и в обозримом будущем.

    5. В зависимости от того является ли определенный метод методом класса или методом экземпляра класса, то первый позиционный параметр метода это класс или экземпляр класса. Между программистами python их принято называть cls - для класса, self - для экземпляра класса. Так как ты в начале пути будешь работать с методами экземпляра класса, да и необходимость создавать методы класса она значительно реже.

    Не думаю что тебе хоть что то стало понятней. По этому бери и изучай понимание будет приходить медленно и со временем, а не пытайся понять все вопросы на раз два.
    Ответ написан
    3 комментария
  • Почему не получается передать значение в экземпляр класса?

    Maksim_64
    @Maksim_64
    Data Analyst
    А почему он должен? Где ты объявил screen? У тебя есть self.screen, вот его и передавай.
    Ответ написан
    Комментировать
  • Как можно удалить фон или получить координаты кругов?

    Maksim_64
    @Maksim_64
    Data Analyst
    Очевидно нужно играть с параметрами. Например для первой картинки
    detected_circles = cv2.HoughCircles(gray_blurred,
                                        cv2.HOUGH_GRADIENT, 1, 45, param1=75,
                                        param2=25, minRadius=8, maxRadius=36)

    Даст улучшение в обнаружении, для первой картинки.
    param2 - чем меньше тем больше False окружностей он обнаружит. param1 - что то очень специфическое и каких то либо паттернов при увеличении или уменьшении я не заметил, ну остальное вроде понятно. Стало интересно, глянул так же в интернете, собственно везде приблизительно одно и тоже подбор параметров.
    Ответ написан
    Комментировать
  • Как определить большинство и меньшинство по числовой характеристике?

    Maksim_64
    @Maksim_64
    Data Analyst
    Как определить большинство и меньшинство по числовой характеристике?

    Если требуется точный ответ это не вопрос математической статистики. Математическая статистика она оценивает (дает приблизительную оценку с какой то степенью уверенности), но ничего не находит.

    Мы имеем данные случайную выборку (если она случайная, это требование, а не пожелание) и распределение откуда она была сделана, например нормальное распределение (нет никаких гарантий что ваше распределение нормально, возможно любое другое, я беру для примера.) 64db45fed6d86239091289.png

    У каждого распределения есть параметры, например у нормального это среднее арифметическое значение (μ) и Среднеквадратическое отклонение, часто называют стандартным отклонением (σ).
    На основании выборки с определенной степенью уверенности "оценивают" параметры распределения из которого была сделана выборка и затем обладая этими данными можно производить любые расчеты. Например, на графике выше по серединке это среднее отклонение людей от точки, стандартное отклонение это дистанция на сколько отклоняется. Например +- одно стандартное отклонение от среднего это 68% человек.

    Так вот это не в коем случае не решение вашего вопроса, это фреймворк о том как мыслить.

    Ваше распределение не известно, его нужно оценивать. И нормальное здезь не подойдет потому что ни какой симметрии у вас нет. От 1 метра и выше, то есть распределение будет другое его надо оценить, первый кандидаты это экспонентное распределение , и им подобные. Потому что мы имеем некое скопление и затем чем дальше тем меньше вероятность (как я понял).

    Что бы ответить на ваш вопрос надо произвести моделирование распределения и оценку его параметров. Потом мы можем отвечать что например 5% процентов людей будет на расстоянии от например 20-25 метров. Или любые другие вопросы.
    Ответ написан
  • Как лучше повышать словарный запас?

    Maksim_64
    @Maksim_64
    Data Analyst
    лучше учить слова: с английского на русский или с русского на английский?

    На мой взгляд не то и не другое. Изучать английский и переводить это разные вещи это далеко не всегда слово на русском -> слово на английском и наоборот.

    Нужно потреблять информацию на английском, учится на английском, и понимать смысл. В процессе понимания смысла о чем речь какое то слово не понятно, глянул в английском словаре его значение, а не в гугл переводчике, и понял что к чему.

    Если переводить например английскую статью на русскую или наоборот то перевод он не по словам будет а по смыслу.
    Ответ написан
  • Как можно средствами python сделать такое окно, чтобы не в самом коде менять параметры моделирования тела, а из такого окна?

    Maksim_64
    @Maksim_64
    Data Analyst
    matplotlib для визуализаций в том числе интерактивных + tkinter для gui. Вот можешь прям пример из доков matplotlib взять для создания интерактивного графика, где ты можешь изменять частоту синусоиды и начать из него делать то что тебе нужно. https://matplotlib.org/stable/gallery/user_interfa...
    Ответ написан
    Комментировать
  • Почему увеличивается разрядность дробной части после округления в pandas?

    Maksim_64
    @Maksim_64
    Data Analyst
    Это не проблема pandas, здесь iloc или любой другой метод не при чем. Это проблема как это число показывается в консоли. Не все числа возможно представить с двумя точками после запятой.

    bad_rounding_result = pivot_table_type_of_expenses.iloc[6, 1]
    df1 = pd.DataFrame({'A':[bad_rounding_result]})
    print(df1) 
    print(df1.iloc[0,0])
    В df1 оно будет нормально, будешь доставать будет вот такое. Если тебе надо после вычеслений рапортовать это где то ну отформатируй его строкой да и все.
    Ответ написан
  • Как сделать, чтобы при сборе определённого количества монет, игра завершалась?

    Maksim_64
    @Maksim_64
    Data Analyst
    Если есть игра значит есть некий цикл в котором происходят события. До цикла объявляешь переменную счетчик монет, в цикле обновляешь значение переменной. Например count = 0 это инициализация до цикла. count = count + profit это в цикле, где profit это количество монет которое игрок получил за определенное действие, ну и проверочка если count равен твоему определенному количеству, то остановка цикла и выход из игры.
    Ответ написан
    2 комментария
  • Почему не получается вывести значение поля Entry в Tkinter?

    Maksim_64
    @Maksim_64
    Data Analyst
    Код я не запускал, не тестил. Наверное
    Button(w, text="Отправить", command=clicked_send).pack()
    Здесь, ты передаешь парметром функцию у которой есть в свою очередь свой позиционный параметр entry_id. На его отсутствие он и ругается. Поправить можно либо lambda либо partial из functools

    Button(w, text="Отправить", command= lambda: clicked_send(entry_id)).pack()

    или так
    Button(w, text="Отправить", command= partial(clicked_send, entry_id).pack()
    предварительно импортировав partial.
    Ответ написан
  • Как точность нейронной сети зависит от функции активации?

    Maksim_64
    @Maksim_64
    Data Analyst
    Ну "формулировка" вашего вопроса, говорит о том, что надо начать с архитектуры нейронных сетей.

    Узел (Node) | Персептрон | Нейрон | Unit - все это одно и тоже, вычислительная единица которая имеет входные данные, функцию активации, выходные данные.

    функция активации - определяет каким образом взвешенная сумма (weighted sum) ввода трансформирована в вывод из нейрона.

    Слои Layers Input Layer, Hidden Layer, Output Layer.

    Нейронные сети используют одну и туже функцию активации внутри слоя. Часто внутри Hidden Layers используется одна функция активации, а в Output Layer другая в зависимости от типа задачи например мы хотим интерпретировать выходной слой как вероятности, что бы они были от 0 до 1 и суммировались в 1. И наша функция активации в Hidden будет RELU, а в Output Layer Sigmoid например. Потому что каким таким чудом RELU нам даст числа которые могут быть интерпретированы как вероятности? Нормализация не решит наших проблем RELU не может быть использована в задачах классификации в OUTPUT LAYER в HIDDEN на здоровье самая популярная.

    Я к чему это все, вы в своем вопросе упускаете этот момент, что это обычное дело иметь разные функции активации для Hidden и Output Layer's.

    Для Hidden Layer вот эти три функции самые популярные.

    1. Rectified Linear Activation (ReLU)
    2. Logistic (Sigmoid)
    3. Hyperbolic Tangent (Tanh)

    Для Output Layer вот эти функции самые популярные.
    1. Linear
    2. Logistic (Sigmoid)
    3. Softmax

    Подробнее про Output Layer линейная функция активации, она не для мебели в списке, а это как нейронные сети решают задачи регрессии, то есть например для регрессии например Hidden Layer - RELU + Output Layer - Линейная функция, это абсолютно нормальная конфигурация.

    Для классификации там или softmax или logistic в Output Layer. В зависимости от количества классов и т.д.

    Про количество нейронов да и количество слоев мы имеем.

    Size - количество нейронов в модели
    Width - количество нейронов внутри слоя
    Depth - Количество слоев в модели.

    Сколько нейронов использовать внутри слоя? Ответ мы не знаем, это дизайн ты экспериментируешь, нету на этот счет теории. Сколько слоев? больше одного не считая входного, если объекты нельзя разделить в пространстве прямой линией (Linearly separable). Дальше этого у нас нет теории сколько слоев иметь, эксперимент и еще раз эксперимент. Так обычно нейронные сети имеют 2+ hidden layers.

    По этому вопрос сколько слоев и нейронов в каждом на сегодняшний момент имеет ответ - экспериментируйте.
    Ответ написан
  • Является ли данный код решением задачи о рюкзаке?

    Maksim_64
    @Maksim_64
    Data Analyst
    Смотря в чем задача конкретно, задача рюкзака это общее название.
    У тебя код осуществляет попытку найти максимальную ценность предметов при условии, что в рюкзак можно положить 4 кг. На твое тестовом сете он работает правильно, если я изменю тестовый сет то нет. Например если я сделаю
    =[(4000,4), (2500,1),(2000,3), (8000, 2), (9000, 4), (7000,2)]
    То я ожидаю ценность 15000, а он дает все равно 10500.
    Я бы рекомендовал тебе статью https://www.geeksforgeeks.org/0-1-knapsack-problem... там несколько имплементаций в том числе и рекурсивный, и оптимизированный динамический, и на нескольких языках.

    Задача рюкзака это классика, она требует погружения в проблему, посидеть над ней как следует. Возьми код из ссылки и поработай несколькими способами.
    Ответ написан
    Комментировать
  • Как вернуть значение из функции?

    Maksim_64
    @Maksim_64
    Data Analyst
    Когда требуется вернуть несколько значений то их собирают в коллекцию например список, кортеж и возвращают. Например return img, gray перед возвращением будет создан объект кортеж и затем возвращен туда откуда была вызвана функция.
    инструкция return означает выход из функции, при условии что функция не рекурсивная (там return может останавливать рекурсию, но не обязательно выходить из функции). Твоя функция обычная и в ней есть два return

    То есть по идее ты хочешь сделать два альтернативных условия выхода из функции при этом в ней нет не каких условий. Он дойдет доreturn lab_gray при чем первый раз он и цикл то не выполнит весь если там больше одного элемента вернет значение и выйдет из функции. При условии что объект по которому ты итерируешься не пуст, иначе он пропустит цикл и вернет return img, gray

    lab_gray у тебя инициализируется внутри цикла то есть ты можешь потенциально вернуть только последнее состояние. Насчет img, gray ты передал их параметрами и они доступны в локальной области видимости функции.

    Сама конструкция твоей функции выглядит бессмысленной, так что изучай python. Просто простой python.
    Ответ написан