• Насколько важно знать хорошо математику аналитикам?

    Maksim_64
    @Maksim_64
    Data Analyst
    Однозначно нужно знать продвинутую математику.
    Тебе требуется знать теорию вероятности и математическую статистику. Как ты их будешь изучать не умея интегрировать, дифференцировать и работать с матрицами.
    Теория Вероятности - Непрерывные случайные величины (continuous random variable) не умеешь интегрировать до свидания. Далее какие отношения между PDF (Probability Density Function) и CDF (Cumulative Density Function), PDF это производная CDF и т.д. Матрицы везде где у нас происходят операции в многомерном пространстве (более одной переменной на вход), вместо операций с числами происходят операции с матрицами.

    По этому Linear Algebra, Single Variable Calculus, Multivariable Calculus. Это те дисциплины без которых, ты не сможешь изучать теорию вероятности и математическую статистику на должном уровне.

    Аналитика, Data Science - подразумевает в себе моделирование, то есть сведение проблемы к математическому виду. Как сводить к математическому виду не понимая, что ты делаешь, не понимания какими математическими свойствами обладают те или иные объекты. Плюс все будет усложнятся тем, что этот математический вид будет, всегда иметь еще случайную ошибку (шум) в себе.

    Есть ли разница между аналитиками? В теории есть, если в двух словах, то Data Analyst его ответственность это будущее. Business Analyst его ответственность понимание прошлого. System Analyst - это вообще не много другое, его ответственность это анализ IT системы внутри компании. Конкретные требования написаны в вакансии и плюс конкретные требования будут разнится от проекта к к проекту.
    Ответ написан
    4 комментария
  • Как выполнить команду в Anaconda Prompt из кода Python (Windows 10)?

    Maksim_64
    @Maksim_64
    Data Analyst
    Ну у linux и mac нету Anaconda Prompt. Все команды запускаются через терминал. Например.
    import os
    os.system("conda env list")

    В общем изучайте все возможности, модуля os - это модуль для взаимодействия с операционной системой. Ну и для windows (я им не пользуюсь) почитайте вот этот stackoverflow. Там пример есть, и указания на доки с объяснениями.
    Ответ написан
    Комментировать
  • Какие проекты можно сделать для повышения уровня в Пайтоне?

    Maksim_64
    @Maksim_64
    Data Analyst
    Знание данных функций (при чем ставить их в один ряд не стоит lambda это инструкция для объявления безымянной функции, в то время как другие имеют вполне конкретные предназначения) вряд ли приблизит вас к освоению python, map, zip возвращают итераторы. Уметь применить zip или map это одно, а вот понимать это уже совершенно другое.

    Вам нужна книга по python, какая именно так на этот вопрос здесь отвечали уже много раз. Книга будет иметь структурность, и во время изучения, если какая то тема вызывает трудности, то можно почитать отдельно статьи или задавать вопросы.

    Пытаться изучать любой язык программирование посредством изучения его встроенных функций - это затея безнадежная.
    Ответ написан
  • Возможно ли обучить ИИ определять данные анализов по фото?

    Maksim_64
    @Maksim_64
    Data Analyst
    Есть библиотека tensorflow. Она имеет api для разных языков, в том числе и для js. Ее вы и нашли tensorflow.js.

    Да это возможно. Построить классификатор (распознаватель) OCR (Optical character recognition) в данном случае, который будет распознавать данные из каждой ячейки. Построение таких распознователей, это задача для специалиста. Такого что засунул файл с изображением в нейронную сеть и готово нет. Это целый процесс.

    В первую очередь я бы попробовал готовый parser таблиц, для картинок и pdf файлов. На python. Библиотека img2table она базируется на OpenCV, но специализируется на табличных данных. Возможно она решит все ваши вопросы, это будет значительно проще и быстрее.
    Ответ написан
    Комментировать
  • Есть ли бесплатные данные по цене биткоина за последние полгода?

    Maksim_64
    @Maksim_64
    Data Analyst
    Ну смотри можешь зайти на yahoo загрузить csv файл в ручную (open close adj.close low high volume), например bitcoin там выберешь период и загрузишь.

    можешь использовать api. Для python нужно будет установить pandas и yfinance (и его зависимости). Код для получения будет такой.
    import yfinance as yf
    btc_usd = yf.download('BTC-USD')
    у функции есть параметры start и end, для задания периода. bts_usd это фрейм (электронная таблица) с которой делают анализ, визуализации, любые манипуляции, записи в любые форматы, базы данных и т.д.

    Плюс есть binance и у него тоже есть api для разных языков.

    Но вообще (без относительно крипты) я люблю yfinance, потому что там можно получить все подробные финансовые показатели компании, плюс много чего еще.
    Ответ написан
  • Как вывести через print название обьекта, которое распознала модель ИИ?

    Maksim_64
    @Maksim_64
    Data Analyst
    Пример: На изображении изображен: roses с вероятностью 1.00
    Если мы уверены в чем то на 100 процентов это не вопрос статистики, как следствие любая правильно натренированная модель не может выдавать "с вероятностью сто процентов". И это пожалуй самое интересное в твоем вопросе.

    Ну а по кусочку кода от gpt и комментировать, что то тяжело. Если допустить что results содержит что то толковое, то потом просто происходит итерация с бессмысленным перезаписыванием переменных.
    Ответ написан
  • Есть ли сервисы для парсинга разных документов с api?

    Maksim_64
    @Maksim_64
    Data Analyst
    Нет, ничего подобного нет, и в обозримом будущем не предвидится.

    Здесь требуется подготовка данных + анализ. Очень часто если эти задачи сложные то их два разных специалиста будут выполнять, если подготовка данных относительна не сложная то один.

    Ну и анализ это понятие растяжимое, репорт каких нибудь средних, минимальных, максимальных и т.д показателей, можно отнести к анализу, но так же к анализу относится и построение предиктивных моделей, статистические тесты и т.д. и это сложно.
    Ответ написан
    6 комментариев
  • Какой тип нейросетей или машинного обучения выбрать для обучения торгового робота?

    Maksim_64
    @Maksim_64
    Data Analyst
    1. У вас звучит слово находить, машинное обучение (нейронные сети это один из классов алгоритмов машинного обучения, а не что то отдельное) ничего не находит, оно предсказывает. Если цель предсказания непрерывная переменная, например цена акции то это задача регрессии, если цель дискретная например рынок пойдет вверх или рынок пойдет вниз то это задача классификации.

    2. Вы говорите данные для обучения поступают в потоковом режиме каждую минуту. Алгоритм учится на тренировочных данных которые собраны ранее, затем подаются данные которые он не видел и на них делается предсказание. Так вот ваши данные которые поступают каждую минуту на них алгоритм не может учится потенциально он может на них предсказывать.

    3. Отсюда вывод вы слабо себе представляете то о чем спрашиваете, так или иначе, то о чем вы спрашиваете это работа с временной последовательностью, вот прочтите https://qna.habr.com/q/1295634
    Ответ написан
    4 комментария
  • Какая конфигурация нейронной сети лучше для временной последовательности?

    Maksim_64
    @Maksim_64
    Data Analyst
    А здесь основная работа - это препроцессинг данных. По нейронкам это RNN. И это наверное процентов 5 времени, все остальное это подготовка данных. Конвертации времени в сигналы, нормализации, оконные функции, правильные сплиты и т.д. Time Series предполагает очень сложный препроцессинг.

    Если задача с временной последовательностью, то нужно тратить время, на изучение необходимых трансформаций. А сама нейронка это ерунда.

    Ну и не много не в тему вопроса, при работе с ts я бы вообще не использовал нейронные сети. Нейронные сети не являются интерпретируемыми моделями. Что это значит? Например у меня есть параметры на вход и один из них ну скажем пускай будет средняя скользящая за неделю, так вот я никогда не смогу сформулировать взаимоотношения между отдельно взятым предиктором в данном случае (средней скользящей) и целью пусть будет цена акции. По этому я бы смотрел в сторону GAM (General Additive Models). Все regressive модели их много это подсеты GAM, когда речь идет о ts то появляется приставка auto. Так вот там можно сформулировать взаимоотношения между отдельным предиктором и целью, а на длинной дистанции это очень важно. GAM это класс моделей а не отдельно взятый алгоритм.
    Ответ написан
    8 комментариев
  • ValueError: operands could not be broadcast together with shapes (720,406) (400,) (720,406) в stable diffusion?

    Maksim_64
    @Maksim_64
    Data Analyst
    Сама по себе ошибка, довольно известная, и происходит она на уровне numpy. При работе с массивами данных, есть такой важный термин, как broadcasting - это то как numpy осуществляет арифметические операции с массивами разной размерности.
    Например
    import numpy as np
    arr1 = np.ones(9).reshape(3,3)
    arr2 = np.ones(8).reshape(2,4)
    arr1 + arr2
    Выдаст по смыслу такую же ошибку, как у вас, размерности разные и он не в состоянии произвести оперцию.
    А вот в этом примере
    import numpy as np
    arr1 = np.ones(27).reshape(3,3,3)
    arr2 = np.ones(9).reshape(3,3)
    arr1 + arr2
    Не смотря на то что размерности разные у нас двумерный массив складывается с трехмерным, ошибки не будет все сработает.
    Потому что согласно правилам broadcatsting'a, данная арифметическая операция возможна.

    Так и у вас, numpy не в состоянии выполнить broadcasting. Как поправить, по скольку вы напрямую не работаете с массивами, а используете интерфейс stable diffusion, то все ответы надо искать там. Либо вы передаете массив с данными, не в той размерности, либо что то в параметрах stable diffusion не то. Ищите рабочий пример и повторяйте. Так поправьте здесь что то или там что то, здесь сказать не возможно. Что из себя представляет проблема я обрисовал.
    Ответ написан
    9 комментариев
  • Какая разница между валидационным и тестовым наборами данных?

    Maksim_64
    @Maksim_64
    Data Analyst
    Смотри в теории машинного обучения есть такая важная тема как Resampling Methods. Это методы случайной выборки из данных которые у тебя есть. Есть два основных это Cross Validation и Bootstrap. Обычно во всяких обучающих материалах используется Cross Validation да и на практике он тоже очень популярен. Что он из себя представляет мы берем например делим случайным образом датасет на 5 частей. Сначала треним на 4 потом тестим на одном что остался, потом на других 4 и тестим на одном что остался и т.д. Так вот каждый такой набор (на котором мы тестим) называется валидационным набором. Например наша метрика MSE мы получим 5 MSE по каждому валидационному набору потом обычно берут среднее по ним.

    Теперь про тестовый сет. Есть правило алгоритм во время трениовки, никогда не должен видеть тестовый набор. Есть два подхода первый мы имеем отдельно тестовый набор на котором мы тестим после всех дел, когда все закончили включая тюнинг модели и тренировочный разбиваем как в примере выше и у нас по очереди получаются валидацонные наборы. Есть и второй подход, когда обходятся без тестового набора, потому что его нет, данных мало и тогда только поочередные валидационные наборы используются.

    Используют и то и то. Это инженерное решение и ты будешь видеть оба подхода. Ну и на каких то обучающих историях, ты можешь увидеть отсутствие кросс-валидации и только разбиение train_test_split.

    В идеале все выглядит вот так. Единственное существует огромное количество разных кросс-валидаций.

    64bcbf8e217a9092904980.png

    Это пример где кросс-валидация используется для тюнинга гиперпараметров, но точно также она будет использоваться и для других целей, каждый синий Fold это и есть валидационный набор.
    Ответ написан
    4 комментария
  • Ошибка программы на пайтон, как исправить?

    Maksim_64
    @Maksim_64
    Data Analyst
    У тебя model это словарь, да и все, а ты ожидаешь модель. Разбирайся с torch api, откуда ты этот пример взял. Возможно там есть какой-нибудь ключ 'model'. То есть, как то так
    model = torch.load("best.pt", map_location=torch.device("cpu"))['model']

    Возможно, класс модели нужно импортировать откуда то, и передать какому-нибудь методу объекта модели вот этот словарь.
    Ты импортируешь предтренированные веса и думаешь что импортируешь модель. Тебе приходит словарь. Вот даже, пример нашел там модель создается, а это просто словарь с весами.

    torch я не пользуюсь, его api не знаю, могу ошибаться,но predictions = model(image) вот это выглядит странно, даже если бы model был бы не словарь, а модель. Потому что у модели по идее должен быть метод predict.
    Ответ написан
    Комментировать
  • Как правильно преобразовать при помощи python данные с json в таблицу mysql (формат db)?

    Maksim_64
    @Maksim_64
    Data Analyst
    Ну и нагородил ты тут. При чем здесь mysql если ты в конце используешь sqlite. В общем проблема в том что по всей видимости у тебя твой твой датафрейм содержит питоновский объект dict, а не должен. во первых pandas имеет метод pd.read_json() во вторых есть метод json_normalize() если json содержит "вложенные словари". Приведи в порядок свой датафрейм, и данные запишутся в базу. Не знаешь, как привести датафрейм в порядок, показывай его и отдельным вопросом.
    Ответ написан
  • Как в Python получить список открытых позиций в Binance?

    Maksim_64
    @Maksim_64
    Data Analyst
    Обычно для работы с различными финансовыми данными используют такую структуру данных, как pandas датафрейм (некоторые api даже имеют параметр что то типа returned_type = 'dataframe' ). Там легко выбрать все что нужно, привести типы данных, ответить на любые вопросы например по какой монете самая большая открытая позиция и т.д, в общем все возможные манипуляции там есть + визуализации.

    Например представим нам прислали структуру как у тебя, я сократил (количество ключей для читабельности, а так не важно сколько их там)
    import pandas as pd
    import numpy as np
    data = [
        {'symbol': 'FTTBUSD', 'positionAmt': '0.001', 'entryPrice': '0.0', 'markPrice': '0.00000000'},
        {'symbol': 'ETHUSDT', 'positionAmt': '0.003', 'entryPrice': '1912.07', 'markPrice': '1911.37031373'},
        {'symbol': 'ALPHAUSDT', 'positionAmt': '0.002', 'entryPrice': '0.0', 'markPrice': '0.00000000'}
        ]
    df = pd.DataFrame(data=data, columns=['symbol','positionAmt'])
    df['positionAmt'] = df['positionAmt'].astype(float)
    print(df)

    Все мы выбрали только те ключи которые нам интересны параметр columns, если нужны все просто не указываем его. Теперь мы имеем таблицу с которой, мы можем делать все что угодно, начиная от любых расчетов, записей в различные форматы файлов или бд и даже визуализаций, например код df.plot(kind='bar', x='symbol', y='positionAmt'); Выведет вот такой график64b90126736ad454204003.png
    Это для демонстрации что всего в пару строк мы проходим путь от того что нам прислал binance до анализа.
    C датафреймом, будет легко и быстро задавать все интересующие вопросы.
    Ответ написан
    2 комментария
  • Как получить атрибут linestyle из объекта класса clicer()?

    Maksim_64
    @Maksim_64
    Data Analyst
    Ну что то ты совершенно не то пытаешься делать. Если же конечно твоя цель не покопаться в ооп. Стиль линий находится в классе LIne2D. Ты можешь вызвать print(klicker.__dict__) и там увидишь вот такую строчку '_lines': {'event': matplotlib.lines.Line2D at 0x7fe0e34a1a50}, далее если глянуть документацию класса Line2D то мы увидим что 'linestyle' это property.
    Итого что бы решить твой вопрос получаем
    klicker._lines['event']._linestyle Это даст тебе стиль линии. Изменить его можно (но это property) защищенный атрибут то есть можно но не нужно, так или иначе.
    klicker._lines['event']._linestyle = '-' его изменит.
    Ответ написан
    1 комментарий
  • Можно ли совместить Google Colab c Pycharm?

    Maksim_64
    @Maksim_64
    Data Analyst
    google colab нельзя. Jupyter Notebook , пожалуйста. Хоть с Pycharm хоть c VSCode. Google colab и Jupyter Notebook это совершенно разные вещи. Google не даст тебе использовать свои вычислительные мощности не в своем приложении.
    Ответ написан
    Комментировать
  • Как найти Backend-специалиста в стартап, если нет возможности платить ему з/п на данном этапе?

    Maksim_64
    @Maksim_64
    Data Analyst
    Все что нужно для запуска стартапа ищут на рынке венчурного капитала. Венчурный капитал это не только деньги, но и специалисты готовые войти в долю стартапа. У нас рынка венчурного капитала по большому счету нет. Утром деньги, вечером стулья, у нас пока так. Самый большой рынок венчурного капитала в долине, это там стартап = идея, к которой потенциально готовы присоединится люди с деньгами, навыками и т.д.
    У нас же стартап, это ты просто владелец бизнеса который за все платит. Так сказать разные ментальности.
    Ответ написан
    7 комментариев
  • Как заполнять csv файл в зависимости от количества данных?

    Maksim_64
    @Maksim_64
    Data Analyst
    А не нужно пытаться из csv файла делать электронную таблицу. У тебя должны быть известны все имена столбцов. И создан csv, со всеми столбцами, а затем ты в него добавляешь записи в которых определенные значения будут None, по скольку значение не спарсено для данного элемента записи.

    для записи в csv используй pandas. Создай датафрейм со всеми возможными столбцами. Затем у тебя есть коллекция с записями, ну например список с кортежами, где каждый кортеж это запись, содержащая None, где данные не спарсены.
    Псевдо код будет такой (индексы в кортеже должны совпадать с индексами в columns)
    data = [('Ivanov','Ivan',None), ('Petrov','Petr',30),...,('Sidorov',None,None)]
    columns = ['name','surname',...'age']
    df = pd.DataFrame(data, columns = columns)
    df.to_csv('result.csv',header=False, mode='a')
    Создаешь фрейм, и добавляешь его новыми строчками в существующий csv файл. А автоматически добавлять столбцы в csv файл не нужно. Если же знать наперед все потенциальные имена столбцов не возможно, что я себе слабо представляю (ты должен знать что ты хочешь спарсить), то используй json (мороки будет много).
    Ответ написан
    4 комментария
  • Как вызвать метод класса без вызова экземпляра?

    Maksim_64
    @Maksim_64
    Data Analyst
    Обычно методы класса используются для объявления альтернативных конструкторов класса, так называемые factory methods. То есть класс метод обычно возвращает cls(*args, **kwargs) Вызывается просто MyClass.classmeth(*args, **kwargs)
    Вот например в pandas (у тебя был вопрос, значит используешь библиотеку) есть класс DataFrame. Ты можешь создать экземпляр класса DataFrame(data) А можешь использовать методы класса для альтернативного метода создания экземпляра (из другой структруры) DataFrame.from_dict(some_dict) так вот from_dict это метод класса.
    Метод класса он оперирует на уровне класса и не имеет доступа к экземпляру класса. Есть еще статические методы, это по сути python функция которая "связана с классом" но не имеет доступа не экземпляру не к классу.

    В чем у тебя здесь смысл попытки использовать методы класса лично мне не понятно. Потому что обычно вызвав метод класса мы инициализируем экземпляр с динамически измененным (данным методом) состоянием класса. Например мы можем поменять значение атрибута класса. Вот тебе на скорую руку бесполезный пример.
    class MyClass:
        currency = 'Dollar'
        
        def __init__(self, amaunt):
            self.amaunt = amaunt
            
        def __str__(self):
            return f'MyClass({self.amaunt, self.currency})'
        
        @classmethod
        def euro(cls, amount):
            cls.currency = 'Euro'
            return  cls(amount)
    dollar = MyClass(100)
    print(dollar)
    euro = MyClass.euro(100)
    print(euro)

    Если снова вызовешь print(dollar), то он тебе выведет euro. Потому что атрибут класса общий для всех экземпляров оказался измененным.
    Ответ написан
  • Читать книги по программированию в оригинале или перевод?

    Maksim_64
    @Maksim_64
    Data Analyst
    Учи английский нормально, (в день по странице это никуда не годится). Книги лучше читать в оригинале, документации, статьи и т.д. Первый язык который нужно знать в IT это английский.
    Ответ написан
    5 комментариев