георгий воронько, правильно сформулированный вопрос - половина ответа. Возможно я в начале вас не так понял. Если это не то что вам нужно - уточните вопрос (вы не указали какой тип имеет arr и содержит ли файл буквы или только цифры).
List<int> arr = new List<int>();
foreach (char c in File.ReadAllText(@"путь к файлу"))
arr.Add((int)char.GetNumericValue(c));