Слона надо есть по кусочкам:
1. Находите элементы наименьшие и наибольшие в строках, создаете массив такого же размера из логических значений, где истина будет означать наличие такого элемента.
2. Находите элементы наименьшие и наибольшие в столбцах, создаете второй массив такого же размера из логических значений, где истина будет означать наличие такого элемента.
3. "Накладываете" один массив на второй логическим "И" - получаете требуемый результат.