Максим Припадчев

Ну смотри если речь о нейронных сетях именно то как таковой сложной математики там нет. Что такое нейронная сеть это последовательность слоев. Каждый слой представляет из себя нелинейную геометрическую трансформацию в многомерном пространстве. Для лучшего понимания и изучения можешь взять двумерные данные. Взять четыре точки квадрат с координатами. У тебя получится матрица A размерность (4, 2). Так что происхдит в скрытом слое.

relu(dot(A, W) + b) - все как бы это не звучало но это ровно то что происходит внутри скрытого слоя. Мы инициализируем случайную матрицу весов размерностью которая подходит для математического умножения матриц. При математическом умножении матриц порядок важен и правило следующее количество колонок в первой матрице должно совпадать с количество рядов во второй матрице. Если матрица A у нас (4,2), то матрица весов у нас должна быть (2, любое значение) пусть будет 16 например. И результатом будет матрица (4, 16)
Например

A = np.array([[0,0],
              [0,2],
              [2,2],
              [2,0]])
W = np.random.uniform(-1,1,size=(2,16)
result = np.dot(A,W)

Здесь мы осуществили геометрическую трансформацию, мы получили представление данных в 16 мерном пространстве. Далее мы просто прибавляем также случайно инициализированный вектор b в подходящей размерности и все. Все эти трансформации линейны. Не линейность достигается функцией активации например relu то есть весь наш код будет

import numpy as np

A = np.array([[0,0],
              [0,2],
              [2,2],
              [2,0]])
W = np.random.uniform(-1,1,size=(2,16))
b = np.zeros(16)
result = np.dot(A,W) + b
np.maximum(result,0)

Все теперь у нас не линейная геометрическая трансформация. Затем посредством обратного распространения ошибки будет находится полезные геометрические трансформации, и будет происходит настройка значений (параметров модели) в наших матрицах весов (которые минимизируют loss функцию), то есть обучение модели. Это то что происходит в одном слое, последний слой там не много по другому, в зависимости от задачи и размерности которую мы хотим получить.
Что выучить. Линейная алгебра Khan Academy. Обратное распространение ошибки осуществляется за счет подсчета градиента. Лучше начать с Single Variable Calculus курсы Calculus AP и ВС там же Khan Academy, и затем Multivariable Calculus Khan Academy. Все для нейронных сетей этого хватит, статистика как таковая для нейронных сетей на прямую не требуется, скорее для общего понимания и косвенно там выборку осуществить. Эти курсы шикарные и их достаточно для нейронных сетей. Для других алгоритмов их будет не достаточно. Ну и надо иметь ввиду, что у нас не обязательно математическое умножение тенсоров второго порядка (матриц), у нас могут быть конволюции. Пример что я привел это самый распространенный случай. Так что основы линейной алгебры, дифференцирование функции одной переменной затем многих (именно они и нужны), не пытайся сразу в дифференцирование функции многих переменных иначе не будешь понимать что к чему.

используй pytube, понятно нужно установить python изначально. Но программировать не обязательно, pytube имеет и просто cli интерфейс (то есть команды можно выполнять из командной строки). https://pytube.io/en/latest/ там после установки, раздел https://pytube.io/en/latest/user/cli.html

Ну что-то совершенно, не читабельное ты написал. В python генераторами принято называть функции которые возвращают итераторы используя yield. То есть любая функция которая содержит yield называется генератором.

Твой "генератор" пытается заполнить массив значениями и к генераторам не имеет отношения от слова совсем.

from field import field это не хорошо. Если тебе нужна переменная из другого модуля то import field затем field.field в том модуле куда импортировал.

Это я так глазами пробежался, если вникать много чего еще выйдет.

что касается непосредственно ошибки. То где то в коде ты вместо создания экземпляра класса создал ссылку на объект класса и затем у этого объекта пытаешься найти атрибут. Что бы было понятнее приведу пример.

class A:

    def __init__(self,x):
        self.x = x
a = A
print(a.x)

Выдаст точно такую ошибку. Нужно вместо a=A, написать a=A() со всеми параметрами, или на прямую ты обращаешься к объекту класса а атрибут у тебя экземпляра класса, то есть вот так.

class A:
    def __init__(self):
        self.x = 'Hello'
print(A.x)

Ищи где у тебя в коде такое, а лучше начни писать весь свой код заново.

Хороший пример составить простенькую дискретную модель. Вы получаете работу с вероятностью p и вознаграждением M, ну и соответственно теряете деньги в количестве K с вероятностью 1 - p. Понятно что простое математическое ожидание p*M - K*(1-p), в таких случаях не применяют, а имеют функцию риска, в которой учитывается все прочие факторы например:
1. Какова цена поездки для вас (на сколько для вас это значимая сумма)
2. Какова цена опыта интервью (может оно будет первое, а может у вас уже были оффлайн интервью)
3. Что для вас значит посетить Москву, будет ли это сопутствующим плюсом
и т.д. то есть подумать и оценить все это дело.

выполнять до те пор пока:
l не равно k или l не равно km или lm не равно k или lm не равно km
То есть если хотя бы одно из вышеперечисленных условий истинно выхода не произойдет.
сделай print каждой переменной и посмотри, как минимум одно из твоих условий истинно, и выхода из цикла не происходит.

если у тебя в твоих условиях или (or) и в списке хоть один True, то общее выражение будет True.

while True: Всегда остается истинным, и получается бесконечный цикл, нужно предусмотреть условие остановки цикла.

Ну смотри объявлять таким образом словарь не нормально, это не удобно.А вот если у тебя в результате каких то действий сначала создался объект список с кортежами где длинна кортежа обязательно два (содержит два элемента) то dict(мой список с кортежами), создаст из этого списка с кортежами словарь и это абсолютно нормально.

Сам код откуда ты его взял, взят для демонстрации создания словаря из популярной структуры данных список с кортежами. У тебя есть ассоциации например l1 = [1,2,3] создаст список, для создания не пустого словаря требуется и ключи и значения, по этому ты либо создаешь его явно d1 = {'A':1,'B':2} либо нужна структура из которой python сможет понять что будет ключами, а что значениями. И список с кортежами (где длинна каждого кортежа обязательно два) такая структура.

from bs4 import BeautifulSoup

text = '''
    <tr align="center"><td><a href="#0">First</a></td></tr>,
    <tr align="center"><td><a href="#1">This is second</a></td></tr>,
    <tr align="center"><td><a href="#2">third</a></td></tr>
'''

soup = BeautifulSoup(text,'html.parser')
result = [ row.a.text for row in soup.find_all('tr')]
print(result)

или result = [ row.text for row in soup.find_all('a')] как удобнее для настройки дополнительных условий парсинга.

Код абсолютно рабочий. Проверяй, не знаю может, когда ты писал square(bob) ты каким то образом использовал русскую 'о' или когда объявлял. Или может файл, когда писал после какого то запуска, когда ты добавил эту переменную то забыл сохранить изменения.

чтобы вычислить частоту

Сначала нужно определится о природе нашей проблемы. Стохастическая, детерминистическая, стохастическая + детерминистическая. Стохастическая значит - содержит вероятность (осуществляется моделирование посредством случайных величин), детерминистическая не какой вероятности нет, ну и третье проблема содержит и то и другое.

Глянем примеры.
f(x) = 2*x+3 - детерминистическая
Normal(0,1) - стохастическая даст случайное значение из Гаусовго распределения с параметрами среднее 0 и стандартное отклонение 1.
f(x) = 2*x+3 + Normal(0,1) - это третий кейс, когда мы накладываем шум на некую функцию.

В машинном обучении мы делаем допущении что наша проблема имеет вид Y = F(X) + E.
Где X - это наши данные на вход, Y - это результат и E это определенная случайная ошибка. Мы говорим существует некая функция F которая детерминистическая и она сопоставляет данные на вход и результат. Так вот задача определить функцию и подобрать параметры которые минимизирует ошибку E.

То есть на выходе у нас не точная частота, а предсказание частоты (возможно довольно точная).
В зависимости какие методики и какими свойствами должная обладать оценочная функция это либо scikit-learn либо statsmodels либо нейронки Tensorflow + Keras.

Если идет поиск точной частоты (отсутствует вариативность в задаче) то это поиск обычных параметров функции. То есть все это должно быть представлено как система уравнений (при условии достаточности информации) и просто решено. это scipy, numpy, sympy.