Формула в таком виде смысла не имеет.
Причина: (i-1) * avg = SUM(Value0...Valuei-1), что, по вашим же словам, в память не поместится.
Можно считать среднее блока (например, 100 чисел), затем суммировать эти средние и делить на количество блоков. Продолжая алгоритм, средние для каждых 100 блоков можно считать отдельно, как суперблок, затем суммировать их и т.д.
Точное значение среднего квадратического отклонения без знания среднего арифметического не посчитать. Соответственно, надо знать, что представляют из себя эти числа. Вполне может быть, что достаточно взять небольшую случайную выборку, чтобы получить оценочные значения нужных параметров.