ElemAnybody

1 - совет - не дергайте сборщик мусора по мелочам. этим вы гарантированно ухудшаете время выполнения. в то же время он и сам великолепно справится, пока вы будете рассматривать результат

2 - осваивайте binding к внешним объектам. Windows Forms DataGridView это умеет https://docs.microsoft.com/ru-ru/dotnet/framework/...

в простейшем случае можете потренироваться на кошечках попробовать массивы/списки (а можно и Entity Framework подтянуть, там есть вариант БД "in memory". но только если есть данные загружаемые из внешних БД, или сохраняемые в БД.. хотя EF уже весь на async/await "из коробки")

3 - binding из бавит вас от рукопашного создания/удаления строк DataGridView. это тяжеловестные операции, учитывая что речь о визуальных эелементах

краткое резюме - binding к массивам/спискам/бд, а их обработка во внешних процессах, или PLINQ.. или async/await - что осилите

В вашем случае идет постоянное обновление view, а это UI часть. То есть вынести в отдельный поток нельзя.
Что тут стоит сделать:

yourDataGridView.SuspendDrawing();
// обновление ваших полей
yourDataGridView.ResumeDrawing();

И мелкие улучшения:

var row = this.dataGridView2.Rows[i]; // чтобы меньше проверки на индекс дергать
row.Cells[0].Value = ...;

Можно бы и конструкции string.Format("{0:0.#############}"... в отдельный поток вынести и уже подготовленные данные внести в GridView

Асинхронность вам не нужна, нужно вынести тяжелую операцию в отдельный поток.
Работать с UI вот как вы делаете не надо, держите свои данные в какой нибудь отдельной структуре данных. Вам подойдет двумерный массив или DataTable Над ней и выполняйте вычисления, по завершении обработки, обновите UI.

Проще всего воспользоваться BackgroundWorker, пример тут.
Ну и непонятно, зачем 3,5к строк одновременно отображать на форме?