Как можно улучшить распознавание еденичных символов по шаблонам?

Question

[vipermagi]

Пытаюсь сделать программку для распознавания номеров машин. Попробовал tesseract, а он жутко тормозной оказался и не сможет в реал тайме. По этому решил ручками сделать через эталонные шаблоны.

Взял каноничную картинку с алфавитом русских букв и цифр. Импортирую картинку, режу на символы, бинаризую и делаю ресайз в 5x7, храню в мапе. Теперь на этапе, когда приходит кусок картинки на которой только 1 символ, то алгоритм превращает его в такой же, как у эталонов размер и цвета и перебором всех сравнивает функцией absdiff(). На выходе получается того же размера и формата картинка с разницей. Чтобы оценить успешность, я беру функцию opencv sum(cv::Mat) и она выдаёт мне сумму всех значений пикселов, за тем я делю этот результат на количество пикселов в картинке и получаю число от 0 до 255. Чем меньше это число, тем вероятнее правильность выбора символа, который достаётся из мапы в виде string. Если вероятность не достигла установленного минимума, скажем в 100, то считается, что символ найден не был вовсе, тогда возвращается пустая строка.

Собственно, оно, вроде как, работает, но по сравнению с тессерактом улучшения в качестве распознавания я не увидел, может ухудшения есть, но мне не очень заметно. Единственно есть плюс, ради чего затевалось, это получение реал тайм скорости вместо слайд шоу.

Кто-нибудь, посоветуйте, чем можно этот алгоритм сделать более годным?

Answer 1

[Александр Таратин]

Попробовал tesseract, а он жутко тормозной оказался и не сможет в реал тайме.

Уменьшите разрешение изображения.
Задайте в настройках распознавать только те буквы что встречаются в номерах.
Отключите словари.
Перед скармливанием тессеракту почистите изображение насколько возможно (даже простой pixConvertRGBToLuminance из лептоники на удивление улучшал распознавание).

Comments

[vipermagi]

Как отключить эти словари?
Вот мой кусок кода

const std::string OCRCHARACTERS = "\u0410\u0412\u0415\u041A\u041C\u041D\u041E\u0420\u0421\u0422\u0423\u04250123456789";

    if(m_tesseract_api.Init(NULL, "rus", tesseract::OEM_DEFAULT))
    {
	std::cerr << "Could not initialize tesseract.\n" << std::endl;
    }

    m_tesseract_api.SetVariable("tessedit_char_whitelist", OCRCHARACTERS.data());
    m_tesseract_api.SetPageSegMode(tesseract::PSM_SINGLE_CHAR); //<-- 10 = картинка это 1 символ
    m_tesseract_api.SetOutputName("out");

Оно почему-то если так делать ещё и муру какую-то выдаёт в консоль

std::string text_out;
    m_tesseract_api.SetImage((uchar*)sub.data, sub.size().width, sub.size().height, sub.channels(), sub.step1());
    text_out = m_tesseract_api.GetUTF8Text();

    std::cout << "single char: "+std::to_string(text_out.size())+" >" << text_out << "<" << std::endl;

    return text_out;

И если поставлю в символы только цифры, то на конечном результате это не отражается. Должно вроде ASCII быть цифры одни, а нет - с переводами строки в консоль выводит. Думается, что-то с локалью, но по идее если стоит "rus" и UTF8, то оно должно само там где-то правильную строку создавать, для ru_RU.UTF-8. Вот я вывожу строку OCRCHARACTERS без проблем. Ожидаю, что GetUTF8Text мне таким же образом сформирует результат.

[Александр Таратин]

vipermagi, Отключить словари
load_system_dawg и load_freq_dawg в 0
Для вывода юникода в консоль под windows в начале main

std::locale::global(std::locale("")); //заголовочный #include <locale>

А для вывода использовать std::wcout, в который посылать std::wstring
Правда как корректно преобразовать вашу строку в wstring не скажу.
Сам я просто использовал qt, где есть utf8 декодер в строку из коробки.

[Александр Таратин]

vipermagi, Насчет пробелов - это нормально. Просто вырежьте их регуляркой \s+

[vipermagi]

У меня линукс.
Вывод мусора я выяснил, это из-за того, что у меня три вон тех строчки были не после Init, а до. Как только вернул их так, как в первом посте, стало выводить почти нормально: в начале русская буква, потом перевод строки или, может быть, даже с пробелами. Где-то у меня была функция trim на это. Во: www.martinbroadhurst.com/how-to-trim-a-stdstring.html

Почитал ещё документацию к GetUTF8Text, а там написано, что возвращаемое значение это указатель на char, который нужно делать delete[]. RAII :)

Согласно https://github.com/tesseract-ocr/tesseract/wiki/Co...
делаю вот так сразу после Init:

m_tesseract_api.SetVariable("load_system_dawg", 0);
m_tesseract_api.SetVariable("load_freq_dawg", 0);

Программа падает без вывода на любой из этих строчек.

[Александр Таратин]

Попробуйте инициализацию в стиле

static GenericVector<STRING> vars_vec;
    static GenericVector<STRING> vars_values;

    vars_vec.push_back("load_system_dawg");
    vars_values.push_back("F");

    vars_vec.push_back("load_freq_dawg");
    vars_values.push_back("F");

    vars_vec.push_back("debug_file");
#ifdef _WIN32
    vars_values.push_back("nul");
#else
    vars_values.push_back("/dev/null");
#endif

    if (api.Init(NULL, "rus", tesseract::OEM_DEFAULT, NULL, 0, &vars_vec, &vars_values, false)) {
        throw std::runtime_error("Ошибка инициализации OCR модуля");
    }

[Александр Таратин]

tessedit_char_whitelist тоже в vars_vec перенести

[vipermagi]

Сделал, заработало, но быстрее не стало, совсем :(