Как реализовать распознавание объектов на python?

Question

[1Aspect1]

Суть в том, чтобы через камеру анализировать рельсы, на которых бывают различные сколы/изломы и отправлять в базу данных все эти поломки. Можете посоветовать что-нибудь из этой сферы (статьи, сайты, ролики), которые помогут в кратчайшие сроки реализовать эту задумку. Вообще насколько это реальная задача, чтобы камера максимально точно обучилась это определять. (Анализировать всё будет raspberry pi)

Comments

[dmshar]

"Безумству храбрых поем мы Славу!" (С). А.М.Горький.
Без опыта, без знаний, без понимания проблемы. По сути - без знания даже самого Python. Да еще и на raspberry pi. И в кратчайшие сроки. В уверенности, что все, кто это делал после многолетнего "погружения в тему", освоения инструментов, не в одиночку - так поступали исключительно из любви к садомазохизму. Ну, или уровень наивности воистину детский.

Не забудьте потом похвастаться результатами. Буде интересно почитать.

Answer 1

[Владимир Куц]

Нужно в первую очередь определиться с камерой, методами измерений, чтобы получить наиболее контрастное и четкое изображение изломов и дефектов.
Применение нейросетей (если они вообще в этой задаче после этого понадобятся) - уже дело второе...

Comments

[1Aspect1]

можете порекомендовать какие-нибудь полезные статьи, если знаете, на эту тему? Особо в теорию не хочу углубляться, главное реализовать задумку, даже если скопипастить половину кода, если такой найдется

[Владимир Куц]

1Aspect1, боюсь - это уже более специфическая тема дефектоскопии металлов и сопутствующих процессов. Тут я не силен - лучше тут к профильным специалистам обратиться.

Answer 2

[Vindicar]

1. Данные, данные и ещё раз данные. У тебя есть выборка на несколько тысяч (а лучше десятков тысяч) дефектов? А выборка "приемлемо чистых", т.е. с незначительными дефектами?
2. Допуски. Сколько допустимо пропущенных дефектов? На 100% даже не надейся, 90% уже будет подвигом. Аналогично, сколько допустимо "ложных тревог"?
3. Как обеспечить условия съёмки? Какую предобработку изображения делать? Что за данные в итоге будет получать модель, которую ты будешь использовать? На эти вопросы нужно ответить. Кривые данные на входе - и ни одна ML модель не справится.
4. Эксперименты с моделями на тему "кто лучше". Подбор гиперпараметров модели.

Ну и просто для представления, что за жесть внедрение CV на производстве.
Тоссим руду: очень неочевидная ИТ-задача
Что случается с металлоломом и зачем там хардкорное ИТ

Короче, про "кратчайшие сроки" лучше забыть, имхо.

Если б мне поставили такую задачу, я бы уволился нафиг взял бы python-opencv для получения и предварительной обработки изображений, и tensorflow, если бы остановился в итоге на нейронках для анализа. Но это только потому что я другими инструментами не владею. =(

Ну и да, про "не углубляться в теорию" и "скопипастить половину кода" тоже забудь. С таким настроем лучше сразу на фриланс.

Comments

[1Aspect1]

спасибо за ответ! Суть в том, что я делаю проект с ребятами для одной выставки, типо робота-дефектоскописта

Помимо того, что он будет с помощью датчиков измерять параметры рельс, планируем внедрить ИИ для обнаружения сколов рельс. У нас есть 50+ небольших рельс (пол метра на пол метра) со всеми возможными дефектами. Думаю как вариант можно их сфоткать с разных ракурсов и скормить нейронке. (правда пока что только теоретически). Думаю, на реализацию именно задумки с камерой и ИИ планирую выделить месяц. Сроки просто поджимают и вряд-ли смогу успеть все нюансы изучить машинного обучения, поэтому без копипаста некуда). робот едет (+ - 5 км/час) -> в реал тайме камера анализирует рельсы -> видит излом -> отправляет координаты, фото, время на бд -> работяги это всё видят и делают выводы

[Vindicar]

1Aspect1, ну с разных ракурсов смысла мало. Нужно с того ракурса, с которого их робот увидит. Конечно, можно сделать jittering выборки (скажем, отразить каждую фотку слева направо - по идее разницы быть не должно.

В принципе я могу посоветовать следующее:
1. Съёмку вести прямо под роботом, под освещением на самом роботе. Меньше сторонних факторов - меньше шансов накосячить.
2. Научиться выделять из изображения сам рельс. Если нет требований по обнаружению цветовых пятен, то можно работать в оттенках серого - будет проще.
3. Таким макаром наделать фотографий дефектных и не дефектных участков. Из них составить dataset.
4. Поиграться с моделями свёрточных нейронных сетей (convolutional neural networks). Они как раз неплохо заточены под такие задачи.

Только нужно решить, на что обучаем модель. "тут какая-то фигня, стоит посмотреть" - это одно. "тут скол размером 8х4 мм" - это совсем другое. Первое будет проще, я полагаю.

[1Aspect1]

есть вообще вариант делать именно обводку скола (не прямоугольник, а детальный анализ скола). Но, думаю, если просто поместить скол в прямоугольник и подписать "тут какая-то фигня, стоит посмотреть" - уже будет достаточно

[1Aspect1]

Vindicar, и сколько в целом желательно делать фотографий к нейросети в нашем случае? Не было опыта работы, не экспериментировал

[Vindicar]

1Aspect1, нужно пробовать, но чем разнообразнее распознаваемые объекты - тем больше. Несколько сотен - минимум, я думаю.

[1Aspect1]

Vindicar, а если нужно будет считывать помимо повреждений рельс - людей/животных.. Чтобы, допустим, при обнаружении препятствия робот останавливался. Можно как-то совместить сразу несколько вещей, которые нужно проанализировать? Чтобы в итоге камера отдельно различала объекты впереди и параллельно анализировала рельсы - делала соответствующие выводы по тому, что нашла

[12rbah]

1Aspect1,

. Можно как-то совместить сразу несколько вещей, которые нужно проанализировать? Чтобы в итоге камера отдельно различала объекты впереди и параллельно анализировала рельсы - делала соответствующие выводы по тому, что нашла

Мне кажется тут нужно будет 2 камеры(слабо представляю как вы будете искать дефекты на рельсах так), но в можно сделать и с одной(только результаты будут не очень мягко говоря), просто фото будут обрабатывать разные функции или процессы. Но если вы делаете это на rpi то вероятно встанут вопросы с производительностью, особенно если будет обрабатываться fullhd снимки/видео.

Думаю, на реализацию именно задумки с камерой и ИИ планирую выделить месяц. Сроки просто поджимают и вряд-ли смогу успеть все нюансы изучить машинного обучения, поэтому без копипаста некуда).

Месяц, ну да, глупые инженеры создают дефектоскопы за 3кк, а тут можно на rpi за месяц сделать то что нужно да и еще с обычной камерой, замечательно будует, если что-то хоть немного полезное получится
P.S. На мой взгляд логичнее делать проект, который будет искать дефекты в снимках дефектоскопа, а не явные трещины, это не особо нужно, т.к. те кто ходят с дефектоскопами такое не пропускают

Answer 3

[Александр Нестеров]

Смотреть следует в сторону CV2/OpenCV.

Вообще насколько это реальная задача, чтобы камера максимально точно обучилась это определять.

В теории - возможно, но все упирается в качество снимков и количество примеров поломок, которые вы сможете скормить нейросети.

Comments

[1Aspect1]

можете порекомендовать какие-нибудь полезные статьи, если знаете, на эту тему? Особо в теорию не хочу углубляться, главное реализовать задумку, даже если скопипастить половину кода, если такой найдется

[Александр Нестеров]

1Aspect1, посоветовать что-то вряд-ли смогу - с компьютерным зрением "на вы".
Однако распознавание дефектов ЖД-путей довольно специфическая задача и готовое решение вряд-ли есть.
В целом, могу посоветовать разделить задачу на более общие, тогда и статей и примеров должно быть полно.
Ну или обратиться к специалисту.

[1Aspect1]

по поводу рельс - да, я и не надеюсь найти статьи именно на эту тему) Так-то да, подогнать общие варианты именно под мой, вот это уже более реально

Answer 4

[mayton2019]

Raspberry Pi - это игрушка для энтузиастов. Если вы на разработку модели потратили тера-флопы облаков с TPU то нет смысла такую модель запускать на детской конфигурации. Тем более что речь идет о рельсах. Это железная дорога. А железная дорога вполне себе способна оплатить нормальный десктоп. И я никогда не поверю в какую-то здесь в данном случае экономию.

Comments

[1Aspect1]

экономия заключается в том, что на жд зачастую используют не универсальные дефектоскопы , которые измеряют только пару параметров. Наш проект будет измерять одновременно всё, ещё и анализировать рельсы с помощью ИИ. ЖД одобрил проект на конкурс, осталось идеально реализовать. Кроме raspb больше вариантов нет, в нашем случае удобнее всего и мощности хватит

[mayton2019]

1Aspect1, ну стоит-же на тележке нормальный ящик! Можно десктоп поставить. Форм-фактор поменьше но все таки декстоп. А и ладно. Ваше дело. Мучайтесь с вашим распбери.

[12rbah]

1Aspect1,

Кроме raspb больше вариантов не

Почему? Rpi вроде чаще используется для демонстрации и потетстить что-то, ну это по моему опыту, в таких проектах для массового производства вроде используют более дешевые штуки, но которые не такие удобные

осталось идеально реализовать

Действительно, самое простое. Если вы хотите взять этот проект, то вам явно нужно прописать процент брака при проходе вашего робота и прописать при каких погодных условиях это будет работать, по сути желательно нормального юриста нанять, т.к. тут довольно серьезная область и ошибка может дорого стоить

экономия заключается в том, что на жд зачастую используют не универсальные дефектоскопы

Ну думаю проблема в том, что универсальные дефектоскопы дорогие, и эту область не так просто автоматизировать, как-то видел статью про то что не могут сделать газонокосилку, которая сможет без хозяина всё делать, а тут задача будет сложнее.
В одном из ответов я видел что у вас датасет на 200-300 снимков, для реальной работы этого явно мало, и вероятно помимо ИИ вам стоит использовать классические алгоритмы, которые также будут проверять снимки на дефекты

[1Aspect1]

12rbah, это, считайте, детский проект, мне всего-то 17 лет. Куда меньше заморочек, т.к этот проект, понятное дело, не будут внедрять в производство, где уже серьезные дядьки всё до мелочей просчитывают, не как у нас. Rpi будем использовать потому что есть опыт работы с ней и в целом только она и есть, потому что датчики у нас будут на ардуино, а распбери будет все данные сортировать и перекидывать на облако