Василий Банников, Вообще если интересна тема тестирования производительности, на ютубе много роликов на эту тему, с того же DotNext, там много докладов есть самого Андрея Акиньшина (придумал как раз этот фреймворк), ну и по самому BenchmarkDotNet`у.
Смотреть выделение памяти через диспетчер задач, как бы не верно, для этого есть профилировщики памяти, вам там все покажет, поколения, циклы сборки и тд. Да и для работы с таким буфером огромным стоит работать через тип Span.