Не совсем понятно, что вы имеете в виду под "мощностью" нейросети которой не хватило, какой тип сетей вы используете, и какой алгоритм обучения.
Вообще в машинном обучении есть подход под названием Стэккинг - когда обучают несколько различных классификаторов, а потом при помощи какойто эвристики, или регрессии для выводов всех этих классификаторов получают один "усредненный" ответ. На kaggle такие стековые алгоритмы как правило занимают высшие места на всех чеденджах)