массив это линейный блок в памяти, когда речь идет о БОЛЬШИХ объемах в десятки и сотни гигабайт, это становится актуально
p.s. c# это не про скорость, когда критичные по скорости вещи переписывашь на с++, когда исчезает контроль над целостностью и выходом за границы, различия между прямым доступом к памяти и работой со структурами становится еще более явной.
лист в несколько раз дороже по памяти чем массив