Какие есть нейросети для распознавания русского/английского?

Question

[ressiwage]

недавно задался вопросом прикрутить распознавание текста к своему проекту для поиска сохраненок в вк по описанию. учитывая что это сохраненки, текст может быть совершенно разным, ввиду чего tesseract не подходит т.к. плохо справляется. есть альтернативы?

Comments

[Everything_is_not_so_bad]

Tesseract довольно хорошо настраиваем. Может, стоит рассмотреть его возможности получше?

[ressiwage]

Everything_is_not_so_bad, в смысле файнтюна?

[Everything_is_not_so_bad]

fire_engel, выбор шрифтов, обучение для языков (ну, насколько мне известно).
В документации наверняка можно много чего найти.

[Everything_is_not_so_bad]

А "сохраненки" весьма плохого качества, как я понимаю?

[ressiwage]

Everything_is_not_so_bad, все по разному, есть как мемы из примера так и какие-то фотографии, документы и прочее. Притом они разнообразны и их много, так что настроить под что-то одно не получится

[Everything_is_not_so_bad]

ну, если мы говорим про мемы, то обычно их перепостят, пережимают по-многу и от того они хуже распознаются.
А нужно ли мемы вообще распознавать? В чем их польза?

[ressiwage]

Everything_is_not_so_bad, вообще я делал проект, чтобы быстрее искать обидный мем во время переписки, так что распознавать нужно)) но это не единственное применение, в идеале хотелось бы чтобы можно было найти любую картинку с текстом

[Everything_is_not_so_bad]

fire_engel,
для проверки, попробуй сделать негатив от мема в посте (черный текст на светлом фоне). Результат распознавания улучшится?

[Everything_is_not_so_bad]

вообще я делал проект

а как извлекаются изображения из DOCX? При этом есть ли потеря в качестве?

[ressiwage]

Everything_is_not_so_bad, с негативом эффект тот же.

касательно docx -- ты, наверное, имеешь в виду кнопку "скачать в докх" на скрине, но она просто загружает документ с таким же выводом внутри, загружаю я в формате изображений

[Everything_is_not_so_bad]

Возможно, нужно дообучить Tesseract на дополнительных шрифтах.

[theurus]

Тесеракт(ocr) вполне себе работает. Google Gemini vision лучше но вопрос в объемах и скорости.

Answer 1

[alekssamos]

https://vk.com/visiontest1

Попробуй моего бота. Там примерно такой код. Ключ взят из исходного кода браузера Google Chrome, в контекстном меню есть получить описание изображения. Вот оттуда. Это ключ общий, глобальный, для всех. Ну так вот:

import base64
import requests

headers = {"X-Goog-Api-Key": "AIzaSyBOti4mM-6x9WDnZIjIeyEU21OpBXqWBgw"}
BASE_URL = "https://ckintersect-pa.googleapis.com/v1/intersect/"
res = requests.post(f"{BASE_URL}langs", headers=headers, verify=False)
print(res.text)
img = open("filename.jpg", "rb")
imgData = img.read()
img.close()
imgBase = base64.b64encode(imgData)
data = {"imageRequests": [{"engineParameters": [{"ocrParameters": {}}, {"descriptionParameters": {"preferredLanguages": ["en"]}}], "imageBytes": imgBase.decode(), "imageId": "somestring"}]}
res = requests.post(f"{BASE_URL}pixels", json=data, headers=headers, verify=False)
print(res.text)

Comments

[ressiwage]

спасибо, попробую, но хочется что-то опенсорсное, чтобы не произошло такое что мне внезапно отрубят бесплатный доступ