Возможно ли обучить ИИ определять данные анализов по фото?

Question

[Елена]

Мне для сайта нужно сделать функционал: пользователь загружает фото анализов. Мне нужно научить ИИ обрабатывать фото и находить показатели конкретного анализа.
Примеры фото такие:



Я нашла такую библиотеку для js - TensorFlow.js. С помощью нее я смогу сделать или нет?

Comments

[Everything_is_not_so_bad]

Гуглить: гадание по фото -TensorFlow

[Everything_is_not_so_bad]

ответ от AI:

Это медицинский отчет на русском языке. Отчет называется “Иммунологические исследования” и содержит таблицу с различными медицинскими параметрами и их значениями. Таблица имеет 3 столбца - первый столбец содержит медицинские параметры, второй столбец содержит значения, а третий столбец содержит эталонный диапазон. Отчет подписан и проштампован врачом.

Отчет содержит таблицу с различными медицинскими параметрами и их значениями. Параметры включают в себя:

абсолютное количество лимфоцитов
абсолютное количество моноцитов
абсолютное количество нейтрофилов
абсолютное количество эозинофилов
абсолютное количество базофилов
общее количество лейкоцитов
отношение CD4/CD8

[SymphoGraph]

Когда дело касается медицины, нужны точные данные, а не предположения ИИ.
Так и уголовное дело можно схлопотать.

[Елена]

SymphoGraph, согласна)

Answer 1

[Василий Банников]

Тут больше задача на OCR и машинное зрение похожа.
Нужно определить границы таблицы и распознать текст в ячейках.
Можно попробовать Opencv + tesseract.

Но скажу, что это сложнее, чем может показаться на первый взгляд (когда-то пробовали такой подход и часто либо границы криво распознавались, либо текст. Причём пробовали сканы, а не фотографии)

Comments

[Елена]

Да, уже попробовала, иногда выходит лажа полная)) Думаю смогу убедить убрать эту затею

Answer 2

[Максим Припадчев]

Есть библиотека tensorflow. Она имеет api для разных языков, в том числе и для js. Ее вы и нашли tensorflow.js.

Да это возможно. Построить классификатор (распознаватель) OCR (Optical character recognition) в данном случае, который будет распознавать данные из каждой ячейки. Построение таких распознователей, это задача для специалиста. Такого что засунул файл с изображением в нейронную сеть и готово нет. Это целый процесс.

В первую очередь я бы попробовал готовый parser таблиц, для картинок и pdf файлов. На python. Библиотека img2table она базируется на OpenCV, но специализируется на табличных данных. Возможно она решит все ваши вопросы, это будет значительно проще и быстрее.

Answer 3

[Вова]

Имхо, нужно быть готовым к тому, что любая система OCR будет давать некоторый процент ошибок.
Лично мне, как пользователю системы, было бы несколько страшно, если в результате распознавания система ошиблась и занизила какой-то важный анализ.

Comments

[Елена]

Да, я тоже об этом думаю, что может выйти плохая ситуация. В идеале надо кюаркод для этого всего, где будут точные данные, а не все лаборатории это делают, к сожалению.