Задать вопрос
  • Как распарсить этот XML?

    Maksim_64
    @Maksim_64
    Data Analyst
    С твоей библиотекой не работал, но с BeautifulSoup все работает как надо.
    from bs4 import BeautifulSoup
    soup = BeautifulSoup(data, 'xml')
    name = soup.find('ns2:Name').text
    surname = soup.find('ns2:Surname').text
    email = soup.find('ns2:Email').text
    birthday = soup.find('ns2:Birthday').text
    Ответ написан
    2 комментария
  • Не могу решить задачу на python?

    Maksim_64
    @Maksim_64
    Data Analyst
    На вот тебе вот такое решение, доводи до ума.
    text = 'Я есть Грут.Ты нет.'
    print(
        '.'.join(' '.join(reversed(item.split(' '))).capitalize() for item in text.split('.'))
    )
    Ответ написан
  • Как называется AI который заменяет лица на видео?

    Maksim_64
    @Maksim_64
    Data Analyst
    в целом такие модели упоминаются, как deepfake, так же swap faces. Вбивай и гугли, репозитарии или сервисы которые такое предоставляют.
    Ответ написан
    Комментировать
  • Как хранить константы в python?

    Maksim_64
    @Maksim_64
    Data Analyst
    Вот большой гайд о константах, Там в принципе описаны все возможные способы создания констант, а их много. И самое главное, есть раздел Handling Your Constants in a Real-World Project, то что тебе и нужно, а не просто "знакомство". Ресурс в python среде пользуется репутацией, его даже в продвинутых книгах упоминают.
    https://realpython.com/python-constants/
    Ответ написан
    4 комментария
  • Как правильно подключить прокси в Selenium на Python?

    Maksim_64
    @Maksim_64
    Data Analyst
    https://www.zenrows.com/blog/selenium-proxy#proxy-...
    там есть код для proxy которые требуют аутентификацию. Я так понял твой требует и без нее не работает.
    Ответ написан
  • Как исправить AttributeError: 'NoneType' object has no attribute?

    Maksim_64
    @Maksim_64
    Data Analyst
    Ну у тебя метод apples не имеет инструкции return соответственно возвращает None. То есть вот в этой строчке tree.apples().total() после выполнения apples() у тебя в результате объект None. А объект None не имеет метода total. О чем и говорит ошибка. Метод total это метод экземпляра класса Tree. tree.total() Соответственно, что бы изменить атрибут экземпляра класса и затем вывести его на печать, согласно твоему объявлению класса, то вот так.
    tree = Tree()
    tree.apples()
    tree.total()
    Ответ написан
    7 комментариев
  • Как параметр в лямбде соотносится с параметром в функции?

    Maksim_64
    @Maksim_64
    Data Analyst
    lambda - это безымянные функции.
    например
    f = lambda x: x**2
    print(f(4))
    выведет 16. f - это указатель на безымянную функцию с одним параметром.
    Тоже самое и в твоем коде твоя функция myfunc, возвращает безымянную функцию, твой n подставит выражение и вернет функцию. lambda a:a*2 дальше как в пример выше ты вызываешь свою функцию с аргументом a=11 и получаешь 22.

    Эта лямбда стоит после оператора return функции myfunc, то есть myfunc возвратит то, что вычислится в результате выполнения лямбды.
    Вот здесь ошибка в твоей логике. Он вернет функцию а не вычислит ее только вместо n ,будет параметр из myfunc.
    Ответ написан
    1 комментарий
  • Почему вектор перемещения не поддается правилу треугольника при вычитании векторов?

    Maksim_64
    @Maksim_64
    Data Analyst
    Вычитание векторов это тоже сложение только вычитаемый вектор умножается на -1 (меняет направление). То есть a - b = a + (-b), где a и b это векторы. Далее хоть методом треугольника, хоть методом параллелограмма результат будет один и тот же.

    Если смотреть на твой график то AB НЕ ЯВЛЯЕТСЯ разницей между r0 и r. У него будут отрицательные значение по оси Y и начинаться он будет в 0.
    Ответ написан
    Комментировать
  • Python cоздание переменной с значением генерируемой переменной?

    Maksim_64
    @Maksim_64
    Data Analyst
    Ну если ты только изучаешь python, зачем тебе pandas. Код не надо править его нужно выкидывать.

    a) Ты хочешь прочитать каждый xlsx файл в отдельный фрейм, это нормально. Создаешь пустой список и складываешь в него фреймы.
    dfs = []
    for filename in fileanmes:
        df = pd.read_excel(filename)
        dfs.append(df)

    где filenames твои пути для xlsx файлов.

    б) Задача не ясна. На сколько я понял у этих файлов разные имена колонок и надо выбрать общий для всех набор.

    from functools import reduce
    import numpy as np
    
    df1 = pd.DataFrame({
        'A':[1],
        'B':[2]
    })
    
    df2 = pd.DataFrame({
        'A':[1],
        'C':[2]
    })
    
    df3 = pd.DataFrame({
        'A':[1],
        'D':[2]
    })
    
    dfs_column_names = [df1.columns, df2.columns, df3.columns]
    print(reduce(np.intersect1d, dfs_column_names))
    Вот так ты можешь найти общие колонки у любого количества фреймов.
    Естественно тебе не нужно хардкодить список с колонками прям в первом цикле заноси не только фрейм в список, но и в другой список заноси его колонки потом вне списка сохрани общий набор колонок как я привел в примере.

    Ну и я так понимаю в дальнейшем ты собираешься выбрать по уникальным для всех фреймов колонкам и собрать все в единый фрейм. pd.concat(dfs). Где dfs это список фреймов, с едиными колонками. То есть предварительно, ты как я показал нашел common_columns. и затеам dfs=[df[common_columns] for df in dfs]. И затем конкатенируешь.
    Ответ написан
    4 комментария
  • Как редактировать данные на лету при импорте из файла?

    Maksim_64
    @Maksim_64
    Data Analyst
    читай сначала pandas'om по частям. Затем решай проблему с данными или пропускай плохие строки или применяй к ним свою функцию, которая поможет растолковать что является делимитром в определенной строке и записывай ну или в базу тем же pandas'om или в csv файл и затем импортируй его в базу уже.

    читать по частям pandas

    import pandas as pd
    chunksize = количество строк
    for chunk in pd.read_csv('large_file.csv', chunksize=chunksize):
        # подправляешь свой фрейм

    Каждый chunk это фрейм, если у тебя будут проблемы с делимитром он выдаст ошибку. Твоя задача написать код который это дело поправит, pandas имеет очень мощный I/O функционал. https://pandas.pydata.org/docs/user_guide/io.html По ссылке найдешь доки не только насчет ошибок при чтении csv файлов, но и как писать в базу, метод to_sql. Он имеет параметр имя таблицы, соедениение и if_exist, так вот в if_exist поставишь append. То есть каждый твой подправленный кусок файла он будет складывать в таблицу в базе.
    https://pandas.pydata.org/docs/reference/api/panda...
    Ответ написан
    Комментировать
  • Ошибка NameError: name 'np' is not defined?

    Maksim_64
    @Maksim_64
    Data Analyst
    Попробуй установить если не установлен numpy и импортировать его import numpy as np
    Ответ написан
    Комментировать
  • С чего начать изучение мат анализа?

    Maksim_64
    @Maksim_64
    Data Analyst
    Если с английским, как ты указал полный порядок. Потрать год на бесплатные курсы с Khan Academy. И у тебя не будет проблем с пониманием мат анализа. При чем начать ты можешь с того места с которого тебе нужно, возможно, я этого не знаю у тебя есть пробелы с алгебраическими преобразованиями, возможно со сведении проблемы к математическому виду (например дана задача) составить уравнение и решить. Я не видел подобного качества курсов. Там есть все precalculus, calculus AB, calculus BC, algebra, linear algebra. Самое главное коротенькие 5-10 минут видео и наверное больше тысячи упражнений. Это хорошая инвестиция времени и она послужит тебе хорошую службу в дальнейшем. https://www.khanacademy.org/ Зарегестрируйся, и начни со своего уровня. Не посредственно мощнейшее введение в мат анализ это calculus AB, calculus BC, multivariable calculus, linear algebra. Но по скольку ты сейчас в 9 классе начинай не с них, а со школьной программы там она есть, увидишь courses и там математика с первого класса, ты со старших начни, не пропусти algebra 1 и algebra 2, geometry и trigonometry. Что выгодно отличает это обучение, ты решишь сотни задач где дана проблема ты ее сначала сводишь к математическому виду, и затем решаешь. А не сухое манипулирование формулами. Так помимо математики ты научишься ее применять.
    Ответ написан
    1 комментарий
  • Почему Выдает ошибку, Python?

    Maksim_64
    @Maksim_64
    Data Analyst
    def init(self, master): Вот здесь ты определил метод экземпляра класса init. А хотел переопределить конструктор экземпляра класса, то есть def __init__(self, master): Отсюда при попытке создания экземпляра класса app = ManageApp(root) он говорит что параметров быть не должно, потому что конструктор экземпляра класса остался пустым.
    Ответ написан
    2 комментария
  • Нейросеть без библиотек. Как можно реализовать?

    Maksim_64
    @Maksim_64
    Data Analyst
    Ну ищи примеры и от них отталкивайся. Если нетворк будет состоять из одного скрытого слоя, то обратное распространение ошибки (backpropagation) не сложно. А вот если из нескольких то подсчет градиента будет происходить при помощи chain rule - это сложно реализовать.

    Слой из параметров функция активации и выходная размерность.
    Внутри слоя activation_fumction(dot(A,W) + b). где A - это входная матрица, W это изначально случайно инициализированная матрица весов с количеством рядов равных количеству колонок в матрице А и количеством колонок равных (output_size) параметр у слоя, размерность. то есть например A(10,3) то W должно быть (3,m) где m это то что ты укажешь в параметре выходная размерность каждого слоя. Та размерность которую ты получаешь на выходе после каждого слоя (10,m) в данном случае, b- вектор, с подходящей размерностью просто выполнить по элементное сложение, так же инициализируется случайно. Ну и dot - математическое умножение матриц.

    Model нетворк, это коллекция слоев, имеет методы compile где ты указываешь loss функцию, то что ты будешь минимизировать, ну и наблюдаемые метрики. также имеет метод fit где ты не посредственно, обучаешь, имеет параметры batch (какими частями ты будешь подавать на вход (количество рядов в матрице)) количество эпох (сколько итераций по каждому batch), ну и данные не посредственно.

    В целом ищи гайд. Так тут все сложно объяснить, и это сильно зависит сколько слоев. backpropagation на нескольких слоях это реально самый сложный момент. И он реально сложный.
    Ответ написан
  • Как удалить уникальные дубли?

    Maksim_64
    @Maksim_64
    Data Analyst
    читаешь оба файла в pandas фрейм. Затем сравниваешь, заменяешь, применяешь regex или все что тебе захочется.
    для сравнения псевдо код будет такой. df1['колонка'] == df2['колонка']. Для замен да все что угодно методы, replace, where и т.д. В общем решай pandas'ом а там будут проблемы, сообрази игрушечный фрейм маленького размера, и приходи с ним поможем. Читать файл функцией read_excel.
    Ответ написан
    Комментировать
  • Как перевести бинарный STL-файл в массив Numpy?

    Maksim_64
    @Maksim_64
    Data Analyst
    Я облазил интернет и особо ответа на вопрос не нашёл

    https://pypi.org/project/numpy-stl/
    Ответ написан
  • Возможно ли сделать нейросеть, предсказывающую рост и падение криптовалюты?

    Maksim_64
    @Maksim_64
    Data Analyst
    Ну случайность здесь совершенно не проблема. Многие процессы которые включают в себя и случайную и не случайную составляющую успешно моделируются в том числе и нейронными сетями.

    Можно ли сделать нейросеть которая всегда будет предсказывать рост и падение с точностью больше 50 процентов. Нет нельзя.

    Можно ли сделать нейросеть которая в течении какого то промежутка времени будет предсказывать рост и падение свыше 50 процентов. Да можно при чем можно сильно больше 50 процентов.

    Почему так? Нейросеть выучит определенные паттерны на прошлых данных. Но они не постоянны, например разные факторы влияют в разное время на поведение рынков. В количественных финансах есть такое понятие как черный лебедь (black swan). Например алгоритмы таково не предскажут, далее чем больше не стабильность тем хуже алгоритмы будут предсказывать, почему так? Да потому что во времена не стабильности, прошлые знания не только обесцениваются, но и вовсе могут вести к ошибочным результатам.

    Ну и потом можно угадывать чаще 50 процентов рост и падение. Но быть в сильном убытке. Ты не учитываешь, что рост и падение не равномерные. В неудачные дни ты можешь терять значительно больше.
    Ответ написан
    4 комментария
  • Как присвоить мусорным описаниям книг дефолтную рубрику в датасете?

    Maksim_64
    @Maksim_64
    Data Analyst
    Не очень мне понятно в чем проблема.

    1. То есть ты собираешься построить классификатор, на вход описание на выход, рубрика (Препроцессинг ты еще не делал, то есть пока там текст обычный). И вот все эти рубрики (target) заполнены кроме одной. А как оно у тебя хранится. Есть массив или pandas фрейм и там есть колонка рубрика с категориями, все заполнены а одна категория нет, на ее месте что пропущенные значения? Ну сделай замену всех пропущенных на свою дефолтную категорию. Там разные значения? Ну сделай проверку если значение принадлежит сету категорий (в которые ты можешь классифицировать), то оставляешь категорию не тронутой, если нет значит заменяешь на дефолтную.

    2. глянь вот это https://medium.com/analytics-vidhya/labeling-an-un... (открывается с впн)

    3. сделай кластерный анализ и потом каждому кластеру присвой свою категорию.

    4. Надо помнить, что иногда бывают случаи что даже в big tech присваивают labels ручками. Да посмотри объявления все они нанимают просто людей видео смотреть (например) и затем его в определенную категорию классифицировать и т.д. То есть при подготовке тренировочных датасетов в качестве "разметчика" категорий принимают участие люди.

    Имей ввиду, в ML нельзя задать детерменистическое поведение. Твоя функция активации на последнем слое переведет полученные значения в интервал от (0,1) при чем не 0 не 1 в него не войдут Ну и эти цифры будут использоваться как вероятности при классификации. У тебя будет вектор длинной количество категорий который складывается в 1 (100%). то есть например втрое значение 0.3 это 2 категория 30%. Ну и соответсвенно, он будет выбирать максимальное значение брать его индекс и это и будет категория. Но там никогда не будет значения со 100% или 0%. То есть те катеогории которые нельзя классифицировать он будет иногда ошибаться и классифицировать.
    Ответ написан
  • Какой ИИ есть для отслеживания бизнес-процессов?

    Maksim_64
    @Maksim_64
    Data Analyst
    Конечно же нет.
    1. Open source в широком смысле этого слова модели должны иметь широкую аудиторию.

    2. Что значит какая либо метрика у компании проседает, проседает относительно чего (это медианная/ средняя метрика по индустрии), проседает относительно самих себя или может какая то более сложная метрика и т.д. Когда мы говорим "проседает" мы должны дать этому определение.

    3. В целом ваш вопрос находится в сфере ответственности DA/DS. Построить интерпретируемую модель (нейронные сети таковыми не являются). Определить степень важности каждого отдельно взятого признака (ваших метрик), И затем запускать тесты на этой модели задаваясь вопросом отклонение по какой то из метрик это дело случая, это рост и все хорошо или же она "просела" и надо что то с этим делать.
    Ответ написан
    3 комментария
  • Где учить нейросети python?

    Maksim_64
    @Maksim_64
    Data Analyst
    Пока что посмотрел про линейные и полиноминальные регрессии
    слово регрессия может упоминаться в контексте вида задач машинного обучения, чьей главной особенностью является непрерывность зависимой переменной. Задачи регрессии можно решать как средствами классического ML так и нейронными сетями. Так и в контексте алгоритмов. полиномиальная регрессия, простая регрессия, авторегрессия и т.д. Так вот скорее всего судя по твоему вопросу, не с какими нейронными сетями ты не знакомился, а просто посмотрел какие то алгоритмы классического ML.

    Где и как изучать, это долгий путь. Что бы понимать принцип нейронных сетей. Нужна Линейная алгебра и Одномерное и Многомерное исчисление (Multivariable Calculus). Что бы понимать что происходит, ты должен уметь дифференцировать и знать что такое оптимизация функции. Этому нельзя научится прочитав статью.
    Либо ищи книги материалы по Линейной Алгебре и Одномерному и Многомерному Исчислению (Дифференцирование Интегрирование функции (одной, многих переменных)) на русском. Либо если знаешь английский (что я бы назвал обязательным требованием для IT любого направления уровня специалист). На khan academy есть курсы которые восполнят требования со стороны математики (Algebra1, Algebra 2,Precalculus, Calculus AB, Caluclus BC, Multivariable Calculus, Linear Algebra). Если с этим материалом будет все комфортно, то дальше покупаешь книгу по deep learning. И не испытываешь не каких проблем по пониманию материала. Во время обучения натаскиваешь чистый python, что бы мог читать чужой код, и не испытывать проблем при работе с библиотеками. И подучиваешь необходимы библиотеки из ML стека.
    Ответ написан
    3 комментария