Стоит ли беспокоится, если иду в NLP, но я плох на числовых табличных данных?
Здравствуйте, я только начинаю изучать мир ML. И я уже определился с направлением - NLP. Проблема проста: меня задевает то, что я довольно плохо работаю с табличными данными (именно с числовыми). Я решал несколько задач на All Cups. Решил по NLP несколько средних, по обычным числовым данным пока только легкий уровень, но стараюсь и до среднего тянуть. Так вот вопрос: стоит ли беспокоиться на этот счет? Стоит ли прорешивать именно эти задачи, которые тяжелые для меня, или сконцентрироваться на NLP?
Основа ML это операции с тензорами. "табличные данные" это тензор 2 порядка. При чем при увеличении размерности тензора, последние два порядка все равно остаются строки и колонки.
Максим Припадчев, хорошо, спасибо. Моя задача — предсказать цену на недвижимость. Метрика такая: 1 / (1 + MAE). Вот и мне непонятно, MAE должна быть очень низкая, чтобы получить нормальный скор (результат от 0.6). А MAE у меня около 1 400 000. Нужно использовать ансамбли, использовал, так MAE и не снизилось. Это ошибка или проблема в моём решении?
Здесь есть две части.
Если на этапе обучения что то дается сложно, значит ты к этому не готов, ты что то пропустил или не достаточно провел времени на более простых задачах, подумай об этом, что будет дальше.
Теперь по задаче, что такое МАЕ это метрика для задач регрессии (задача) где твоя цель непрерывная перменная. Обзначим ее у. У тебя есть набор фичей|переменных|предикторов их по разному могут газывать, обозначим их X.
и так
y - цена на недвижимость
X - твои фичи табдичные данные() Например, локация, квадратура и др.
в процессе машинного обучения ты ищешь функцию f которая на вход получит X и сделает прогноз цены.
то есть.
f(X) = y'
где y' - это предсказание. Функция должна минимизировать ошибку на тренировчном датасете и показать хорошую генерализцаю на тестовом. По скольку алгоритм в процессе обучения ищет такую f которая минимизирует y - y' , твою ошибку.
Теперь к MAE это метрика точности, одна из воможных. Очень простая.
MAE = mean(|y-y'|)
Он у тебя большой в среднем ты очень сильно ошибаешься.
Если в твоем пайплане все в порядке, то алгоритм не может давать такую большую ошибку.
Скорее всего что с трансформацией данных, и где то в пайплане у тебя попадают очень большие цифры, а ожидаются маленькие, например ты где то провел нормализацию данных, а когда ты делаешь predict то туда попадает X с не обработанными данными.
Вообще, сейчас я еще плоховато знаю статистику. А NLP я решал, скорее всего, потому что там всё наглядно и никаких графиков и анализов строить не нужно.
Нет категорий, например вот это street_id - категрия алгоритм может интепритировать как число. Нет тренировнчого мае, хотя бы крос валидацию какую нибудь сделать, что бы посмотреть а у меня хотя бы на тренировочном датасете есть обучение какое нибудь.
В общем отсуствует базовая работа с данными, а ты зачем то ансамбли изучаешь, которые будут голосовать за лучшую модель.
МЛ начинается с обработки данных а не с моделей, у тебя этого нет.
Какие фичи категории, какой енкодинг к ним применен, какие фичи непрерывные какие трансформации к ним применкны. Какие метрики на обучающие выборке?
Смотри, ты думаешь, если ты решишь задачу, то ты чему то научишься. Нет, ты не чему не научишься. Твоя проблема ты не понимаешь, как думать о задачах машинного обучения.
Но я пока не изучаю DL, я даже линейную регрессию не могу на чистом Numpy реализовать, тк не знаю мат анализ. Нужно ли так рано начинать изучать его?@Maksim_64
Its_Suchkov,
Да, можешь начинать. Проблема не в линейной регрессии и не возможности реализовать ее на numpy.
Проблема в отсутствии общей картинки. Что такое таргет, что такое фича, что такое функция потерь, что такое метод оптимизации и т.д. Все вот это не укладывается в твоей голове.
Читай медленно и практикуйся на каждом уровне. Это даст общую картинку. Значительно проще решать задачи, когда ты понимаешь что вокруг.
Книга даст понимания общего пайплайна машинного обучения.
Its_Suchkov, ну как бы студенты не зря тужатся на парах 1-2 курса, изучая матан, алгем, тервер.
У вас есть маленькое преимущество - вам не нужно готовиться к экзаменам, а нужно всего лишь прочитать 1-2 главы по каждой дисциплине, чтобы хотя бы бегло понимать базу, там от силу будет 10% всего курса универа технической направленности.
Максим Припадчев, Я правильно понял, если я пойму общую картину, то смогу более легко "существовать" в ML. Например, пойти глубоко изучать базу (линейная регрессия и тд) или другой фреймворк (например, PyTorch)?
Максим Припадчев, Еще раз здравствуйте. У меня появилась новая проблема: недавно я решил порешать задачи из книги по C# на Python. Когда задачи были на бесплатном курсе по Питону, я, конечно, мучился, когда только начинал, но не настолько. Там были задания из разряда «Проверьте строку на...» и так далее. Иногда было непросто, например с вложенными списками, но я смог их преодолеть. В книге задачи в основном на извлечение математической модели, я решил несколько, но когда дошел до повышенного уровня... Дело было не в том, что я не знаю, как написать if или создать список, я просто не могу извлечь формулы, понять формулировки и того, что от меня требуется. Мозг начинает кипеть и путаться во всём этом. Как быть, чтобы лучше понимать условия и переносить их в код?
Простой
