Максим Припадчев

Ну у тебя не много колонок, а всего одна. Элементы массива (имена колонок) идут через запятую. А все что ты заскринил, это одна строка, как следствие один элемент массива.

Как пофиксить, ну я не знаю что у тебя там в файле, но предположу что у тебя в файле разделение на колонки происходит сивволом ';'. Как следствие тебе нужно указать параметром при чтении.
df = df.read_csv(filename, sep=';') Ну и остальные параметры которые ты там указываешь. Решит ли это все проблемы неизвестны. Надо видеть в каком состоянии файл. Чтение файлов иногда может быть серьезной проблемой, которая потребует написания функций для проблемной части парсинга.

1. Уверенный английский (качественные материалы и инструменты и т.д все на английском)

2. Уверенная линейная алгебра, интегральное и дифференциальное (одномерное и многомерное) исчисление. При разработке ты будешь работать с тензорами (тензор первого порядка - вектор, тензор второго порядка матрица) и их операциями и в конечном счете оптимизацией результатов этих операций.

3. Уверенный навык программирования. Реализации для взаимодействия с API нейронных сетей или классических алгоритмов машинного обучения существуют практически на любых языках, так что python не обязательно.

4. Книга именно по ML, ты должен разобраться именно в ML техниках, терминах. Получить ответ на вопрос что значит тренировать модель, как ее оценивать, как находить оптимальные параметры, каких ошибок не допускать, стратегии деления датасета и многое многое другое.

5. Много практики, и доводить все это дело до проекта. Освоить git например, освоить IDE, как следует, и т.д. Специалист растет от проекта к проекту. А не от книги или курса. Книга потенциально дает возможность вырасти, а там уже кто то ей воспользуется, а кто то нет.

Пункт два Khan Academy Там со своего уроня начинаешь, конечные цели Calculus AB, Calculus BC, Multivariable Calculus.

Относительно книг лучшее для вхождения из того что я когда то читал это deep learning with python от François Chollet. Она конечно на python, но это только код. А так она покрывает весь пайплайн создания модели и все написано очень простым языком.

Ну на сам деле задачка на 5 минут, есть определенные методы заполнения пропущенных значений, 'ffill' forward fill и 'bfill' backward fill. Они и есть ключ к решению, далее группировка происходит без проблем, и дальнешее дело техники, при чем многими способами, например так.

f = pd.DataFrame({
    'A':['a',np.NaN,np.NaN,'b',np.NaN,np.NaN,np.NaN,'v',np.NaN,np.NaN,'d',np.NaN,np.NaN],
    'B':['foo','foo','bar','bar','bar','foo','bar','foo','bar','foo','bar','foo','bar']
})
result = (
    df
    .groupby(df['A']
    .fillna(method='ffill'))['B']
    .apply(lambda x: ','.join(x))
    .reset_index()
)
result

1. Про взаимодействие:
программирование прикладная дисциплина, и осуществлять работу с так называемым AI может совершенно любой человек. Среди людей работающих с така называемым AI есть физики, химики, биологи, экономисты, финансисты, разработчики игр, веб разработчики, люди не имеющие четкой специализации и т.д.

2. Про разработку:
современный AI требует взаимодействия множества разных специалистов.

3. Итог:
да есть ученые работающие над созданием AI примеров много, из известных ну например, Yoshua Bengio. Это один из явных примеров именно ученого. Но есть и не ученые работающие именно над созданием новых систем AI, и работают эти люди, как в маленьких компаниях, так и в корпорациях.

Вообще так с pandas не работают.
1. pandas имеет мощный I/O как следствие эксель в том числе читают прямо в фрейм. Есть функции read_excel и другие, дополнительно перед этим установив различные reader's writer's например openpyxl и др.

2. Если ты собираешься создать series из python объекта, с числовыми индексами то это list. Если с именованными индексами но это словарь. То есть собирай в словарь или лист. Seires это однородный массив и с именованными индексами, и for циклами их не процессируют.

Тебе нужна библиотека dash+plotly Там и таблицы и графики и приблизительно все что угодно. В качестве хранилища данных может быть, как pandas датафрейм так и база данных. Таблицу как в примере сделать довольно просто. Документация очень большая и очень толковая, там элементарно найдешь полный пример запросов к фрейму и отображения в виде таблиц, график и т.д.

Ну много способов есть, но самый верный смотреть в сторону groupby.

(
    df.
    assign(latest=lambda x:x
    .groupby("some_name")["date_time"]
    .transform(pd.Series.nlargest, 1)
          )
    .loc[lambda x: x['date_time'] == x['latest'],:]
)

Хороший вопрос. Есть правило никогда не использовать метод fit на тестовом сете. Иными словами будьто нормализация, скалинг, стандартизация или другие трансформации, ты никогда не находишь никакие параметры в тестовом наборе - это грубая ошибка. А всегда используешь только тренировочный набор. По этому все свои mean, std и прочее ты берешь только из тренировочного набора.

В scikit-learn есть трансформаторы, к примеру StandardScaler так вот у него есть методы fit, transform и fit_transform. Так вот для тестового дата сета ты используешь только transform и никогда fit или fit_transform. Что означает применить трансформацию к тестовому сету с параметрами посчитанными на тренировочном сете.

С нейронными сетями абсолютно тоже самое без каких либо исключений.

В целом тебе нет необходимости для "удаления" вытаскивать в отдельную колонку. Обычно из фрейма ничего не удаляют, его не изменяют, а извлекают из него подсеты которые отвечают твоим требованиям. Код придется картинкой опубликовать а то форматирование не поддерживает эмоджи.


Если ты не знаешь всех своих эмоджи то есть библиотеки получи все юникоды своих эмоджи и проверяй строку не содержит ли она юникод эмоджи, это будет очень медленно. лучше выбрать их несколько я думаю там их не много и как у меня в примере просто пусть их там десятка два будет а не два. Можно также попробовать простенькой регуляркой отловить что то типа такого

df[df['comment_text'].str.contains(r'[^\w\s,]', regex=True)]

Для моего примера работает, сработает ли в целом неизвестно.

Потому что объект список мутабельный объект rez = []. Ты ожидаешь, что при каждом новом вызове функции у тебя создается пустой список res, а это не так почитай к чему ведет мутабельные типы в качестве значений по умолчанию у параметров функции.

1. В первом случае ты вызываешь первый раз работает как ожидаешь, но но список res уже создан и существует.
2. В втором ты оставляешь без изменения свой дефолтный параметр (список), а он то уже заполнен, и он просто добавляет в него.
3. В третьем случе ты передаешь новый список (новый объект). По этому работает нормально.

Общий кейс для решения таких проблем как то так.

def test(n, rez = None):
    if rez is None:
        rez = []
    for i in range(n):
        rez.append(i)
    return rez