Какой алгоритм и желательно реализация для построение стереоизображения на основе технологии летикулярной печати как у Lumii?

Question

[rPman]

spoiler

Существует очень старая технология получения стереоизображения - летикулярная/линзорастровая печать, когда одна картинка видна разной при просмотре на нее под разными углами, в этом случае изображение состоит сразу из нескольких, чередующихся тонкими полосками, а затем сверху этого изображения размещается серия таких же полос призм/линз, отвечающих за отображение нужной части изображения под своим углом.

В качестве частного случая, вместо линз можно использовать экран из тонких горизонтальных полосок, расположенный на небольшом расстоянии от картинки, таким образом чтобы при небольшой смене угла просмотра через него открывались только нужные части изображения. Недостаток - большая часть изображения экранирована.

В качестве развития этого метода с экраном, существуют алгоритмы, позволяющие рассчитать изображение и вид экрана попиксельно таким образом, чтобы оптимизировать результат, так как если мы хотим сделать стереоизображение, то соседние кадры будут сильно похожими а значит одинаковые писелы нет нужды экранировать.

Гугление навело на стартап Lumii, позволяют распечатать необходимые маски на обычном струйном принтере. Но найти информации про используемый ими алгоритм не получилось, хотя изначально говорилось что это проект mit.

Несколько лет назад читал статью (скорее всего на хабре но не могу найти) умельцы расковыряли 14" монитор, извлекли из него матрицу, отделили цветовой и поляризационный фильтр и аккуратно поместили получившуюся монохромную матрицу (получается в ~3 раза выше разрешением) поверх другого монитора, оставив его цветным. Затем они разработали алгоритм и софт (кстати использовал видеокарту), который рассчитывал необходимые изображение и монохромную матрицу чтобы человек перед получившимся стереомонитором мог увидеть стереоизображение без каких либо дополнительных очков или приспособлений.

Меня интересует этот алгоритм и в идеале готовая реализация, возможно она где то пылится в дебрях интернета.

Так же я хотел бы прочитать про способ, с помощью которого они сделали монохромную матрицу из монитора, как можно снять цветовой фильтр, не повредив основную матрицу, какими растворителями пользовались и т.п.

Answer 1

[15432]

В лаборатории КГиМ ВМК МГУ мы занимались похожим - как печатью лентикулярных изображений на бумаге, так и генерацией видео для автостереоскопических мониторов (у нас их было аш 4). Наиболее сложной штукой было качественно построить ракурсы из моно изображения - глубина бралась откуда только можно - из анализа движения, фокусировки, некоторые сцены специально снимали на несколько камер. Потом строилась специальная развертка этих кадров в полосы под линзы, и тут требовалась ну очень точная калибровка и полное отсутствие сжатия - такой пятиминутный ролик, что мы крутили на стенде выставок весил гигов 200 и рендерился чуть ли не сутки до этого.
Тема крайне объёмная и нюансов очень много. В реальном времени в те годы у нас получалось не айс, глубина прыгала, мощности явно не хватало. Как сейчас с этим обстоят дела не знаю, я уже 5 лет не в этой лабе. Кодом, к сожалению, поделиться не могу, в любом случае рекомендую поинтересоваться темой в личке и прочитать серию статей от нашей лабы на хабре https://habr.com/ru/users/3Dvideo/

Comments

[rPman]

Наиболее сложной штукой было качественно построить ракурсы из моно изображения - глубина бралась откуда только можно - из анализа движения, фокусировки, некоторые сцены специально снимали на несколько камер.

как раз это не требуется

p.s. ваши статьи читаю с удовольствием, спасибо за них

[15432]

rPman, ого, благодарю :)
сейчас готовлю ещё одну как раз