Данил

Вопрос достаточно абстрактный. Если задать достаточно большую глубину дерева, то скорее всего алгоритм переобучится. Так же нужно учитывать сам дасасет (например, распределение целевого признака).

Если интересно, можно проверить, как себя ведет дерево решений на существующих датасетах.

Можно попробовать Латентное размещение Дирихле

Проблема не в моделях, а в данных и умении их "готовить" -

Garbage in, garbage out

;)

Для того чтоб использовать линейную регрессию для нелинейного набора данных, Вы можете просто добавить полиномиальных признаков в датасет. В том же sklearn-e уже есть для этого модуль - PolynomialFeatures.

Все вместе может выглядеть примерно так - https://colab.research.google.com/drive/1YN9aIR3PU...

https://medium.com/machine-learning-for-humans/how... - от простого к сложному. Нужен английский.