Можно попробовать частотные алгоритмы. Например, взять массив значений яркости пикселов в интересующем нас квадрате, пропустить через преобразование Фурье, проанализировать полученный спектр. Отсутствие высших частот в спектре будет говорить об отсутствии резких переходов и мелких деталей на изображении => значит, расфокусировка.
Насколько мне известно, подобный механизм (реализованный аппаратно) применялся еще в аналоговых видеокамерах.
