Идеи только следующие сделать, как положено в таких случаях (и в любых других) EDA (explanatory data analysis) для начала мы же аналитики а не гадалки. Посмотреть графики зависимой переменной от независимых индивидуально, если где то что линейное имеется посмотреть корреляции, и.т.д.
Задать руководству вопрос (наверное главный) а имеет ли значение интерпретируемость модели или только ее предективная составляющая. Для бизнеса бывает важно интерпретируемость модели.
Например если мы построим линейную регрессию у нее сильная интерпретируемая сторона. То есть параметры которые выучит модель имеют бизнес контекст (в рамках модели разумеется). Но точность будет например уступать Деревьям решений, но у деревьев нету интерпртируемости параметров она просто будет предсказывать и все.
Машинное обучение начинается с компромисса между точностью и интерпретируемостью.
А просто без визуализирования зависимой переменной c независимыми по отдельности, без понимания отношения между независимыми переменными между собой. Давать советы это гадать.