надо так (исправление Вашей формулы
жирным)
=И
ЛИ(МАКС($A$1:$A$20)=A1;МИН($A$1:$A$20)
=A1)
В вашем случае правило применится при условии что А1 (для ячейки А1) одновременно и максимальное и минимальное (правило логического И), а это возможно только при условии что все числа в диапазоне равны.
В моем варианте если минимальное или максимальное (логическое ИЛИ)
А вообще в стандартных правилах условного форматирования выбираете первые 10 элементов для максимального и последние 10 элементов для минимального и устанавливаете кол-во искомых значений =1
Т.о. закрасится наименьшее и наибольшее
По первому варианту скрин правила:
По второму варианту тоже все работает: