Влияет.
Больше слоев - напрямую увеличивает сложностью архитектуры, и увеличивает количество возможных вариаций взаимодействий. Что считается типа лучше для подгонки к решению.
П. С.
есть понимание что, каждый новый слой в нейросети должен СОКРАЩАТЬ энтропию с которой он работает, иначе просто бессмысленно увеличивать количество слоев, соответственно увеличивать количество слоев тоже нельзя бесконечно (также как и сокращать бесконечно энтропию)