var ints = new[] { 22, 55, 11, 33, 77, 66 };
// вариант 1
var avg1 = ints.Where(a => a != ints.Max() && a != ints.Min()).Average();
// вариант 2
var avg2 = ints.Except(new[] { ints.Max(), ints.Min() }).Average();
Console.WriteLine(avg1); // 44
Console.WriteLine(avg2); // 44