Как увеличить точность предсказаний?

Question

[WSGlebKavash]

Датасет представлен в виде CSV-файла. В нём есть поля в качестве входных данных и поле целевой переменной. Данные - обычные числа float. В качестве модели используется регрессия. Цель: предсказание прочности бетона
В настоящий момент точность предсказаний 68%. Как увеличить точность модели?

Comments

[Модератор]

Тэг python тут ни при чем.
Не надо ставить как можно больше тэгов. Лучше оставить один, но конкретный, с которым проблема.
См.п.3.1 Регламента.

[d'Ivan]

Покажи график.
А вообще, https://www.directmedia.ru/book-119123-ekstremalny...

Answer 1

[Максим Припадчев]

Ну информации вы даете мало, а сделать для увеличения точности можно много всего.
1. Трансформации, кейс ваш простой, все входные данные числовые. (Нормализация, Стандартизация), как делать смотрите https://scikit-learn.org/stable/modules/preprocess... там хорошие примеры как правильно применять StandardScaller min_max_scalar в общем приведение ваших входных данных к единой шкале.

2. Увеличение сложности модели здесь мы говорим о bias vs variance компромисс Мы имеем простую модель или сложную модель. Например поведение простой модели слабая точность на тренировочном сете и еще более слабая точность на тестовом сете, такое поведение называется underfitting или говорят еще high bias. В свою очередь high variance или overfitting это высокие показатели на тренировочном сете и значительно более низкие на тестовом сете. Что делать читаем и изучаем https://scikit-learn.org/stable/modules/generated/... это трансформатор и затем https://scikit-learn.org/stable/auto_examples/mode... это кривая валидации в интернете полно примеров как применять. Через них находится оптимальная сложность модели.

3. Тюнинг гиперпарматров https://scikit-learn.org/stable/modules/grid_searc... это как осуществить правильный подбор параметров эстиматора (когда уже сделаны нужные трансформации и выбрана модель).

Перед этим сделайте ну хоть какое то подобие EDA используйте seaborn и функцию pairplot хоть глянуть может какие то корреляции есть. По гуглите другие методы EDA для задач регрессии это задаст направление для лучшего понимания датасета что у вас есть.

Начните делать появятся более конкретные вопросы и будут более конкретные ответы.

Comments

[U235U235]

И самое главное, не факт, что все это поможет. Возможно, что 70%, это, например, принципиальный потолок точности.

[Максим Припадчев]

U235U235, Лучше бы автор вопроса да и вы объяснили бы что такое точность 70% в регрессивной задаче.

В нём есть поля в качестве входных данных и поле целевой переменной. Данные - обычные числа float.

То есть у нас и X и y непрерывные и это задача регрессии. 70% процентов может быть у задач классификации. (у задач регрессии другие метрики R2 score, MSE, RSME и.т.д) И пусть алгоритм будет например логистическая регрессия (он решает задачи классификации y ДИСКРЕТНЫЙ. На самом деле в ТЕОРИИ и только в ТЕОРИИ и линейная регрессия может быть использована для задач классификации (на практике этого не делают).

Слово регрессия в названии алгоритма - не одно и тоже, как проблема регресиии.
Автор говорит и X y у меня float нам нет дело до X он может быть любым, а вот y то НЕ дискретный. Значит это проблема регрессии. Откуда тогда 68-70% должно быть R2 score, MAE или RMSE.

Я не стал заострять на этом внимание в ответе, так что бы автор начал что то делать КОНКРЕТНОЕ, и появились КОНКРЕТНЫЕ вопросы.

Что же касается вашего заявления

И самое главное, не факт, что все это поможет.

ну там где есть вариативность 100% гарантии конечно нет, не одни метод статистического анализа или машинного обучения не гарантирует 100% результата. Если же мы опустим сто "процентность" то поможет, и еще как поможет.

Answer 2

[Александр Скуснов]

Глубокое обучение, то бишь нейросеть.

Comments

[dmshar]

А зачем? Задача - построение регрессии. Пусть от нескольких переменных - но скорее всего - линейной или логлинейной (ибо это физика, а там сложнее квадратного полинома редко что бывает). Нейросети незаменимы там, где у вас нет изначально выделенных фичей ну и взаимосвязь с целевой переменной какая-то очень замысловатая. А пихать глубокое обучение куда ни попадя - так себе идея.
Даже во многих задачах классификации очень часто какой-нибудь случайный лес дает результат лучше, чей нейросеть. А тут вообще автор верит в регрессию.