Почему при свёртке, каждая 2D-матрица входного изображения (канал) умножается на разные веса, какой смысл?

Question

[koshelevatamila4741]

Смысл фильтров/ядер ведь в распознавании определённых свойств/признаков (углы, линии), так почему, например здесь: Демо, используются различные веса при свёртке с каждым каналом входного изображения? проверяем вертикальные линии на красном канале, затем проверяем диагональные линии на синем канале, горизонтальные линии на зелёном и т.д. в чём смысл?

Answer 1

[Александр Скуснов]

Задача - выделить признаки (features). Один фильтр выделит один признак. Если вам нужно несколько признаков, то делаете несколько фильтров параллельно.
Есть пример человека: 15 фильтров, каждый реагирует на полоски с угловым смещением 12 градусов (итого 180 гр.).

Comments

[koshelevatamila4741]

Видимо не правильно сформулирован вопрос, имеется ситуация:

Вход свёрточного слоя: одна карта признаков размеров 6х6
В свёрточном слое будет происходит операция свёртки с двумя разными фильтрами (это понятно, каждый фильтр отвечает за один какой-то признак), но ведь каждый фильтр представляет собой матрицу размером 3х3 и каналов = 3 (так как количество каналов во входе = количеству каналов/глубине фильтра), так зачем/какой смысл, умножать каждый канал (матрицу 6x6) на РАЗНЫЕ матрицы (3х3) ОДНОГО фильтра.
Иначе говоря, почему здесь не одни и те же числа?

[freeExec]

koshelevatamila4741, Рассматривай это не как каналы картинки, а то как это работает уже где-то в середине. Вот тебе приходит 10 фич (10 слоёв). Тебе надо решить собака это или кошка. И ты каждую входящую фичу проверяешь, но проверяешь её по своему (т.е. для каждой входящей, свои веса). Условно ты в первой цвета проверяешь на серый, во второй проверяешь на наличие хвоста, третью фичу ты проверяешь на наличие острых ушей и т.д.
В принципе ты можешь собрать свёртку с одни универсальный ядром для всех входящих фич, но очевидно что это будет работать хуже.

[koshelevatamila4741]

freeExec, Я про то, что ОДНА фича (карта признаков) состоит из 3 матриц (что кажется для меня логичным, так это то, что мы проверяем горизонтальные линии на красном канале, проверяем горизонтальные линии на зелёном и затем на синем канале, после этого получается ОДНА карта признаков состоящая из трёх матриц), и непонятно, почему мы каждую эту матрицу умножаем на разные матрицы фильтра (один фильтр же тоже состоит из трёх матриц), по-моему мнению, ОДИН фильтр должен состоять из ТРЁХ одинаковых матриц, ведь мы проверяем наличие ОДНОГО признака на каждом из каналов.

[Александр Скуснов]

koshelevatamila4741, Смысл есть. Ведь сеть путём настройки сама находит признаки (а ты предлагаешь признаки частично конструировать вручную). Допустим, у домика треугольная крыша красная, а сам квадратный домик синий. Вот красный фильтр будет настраиваться на диагональные линии, а синий - на вертикальные и горизонтальные.

[mayton2019]

Тут наверное от задачи зависит. Если ты распознаешь цветы на зеленом лугу. То наверное канал зеленого цвета не несет особо ценной информации. А вот красный (маки) будет очент информативен.

А свертки для разного канала тоже разные потому что ищется разная информация. Там лепестки. Там трава. Или рябь или еще бох знает какие графические артефакты.

[freeExec]

koshelevatamila4741, потому, что ты зациклился, что это у тебя канал цвета и ты ищешь горизонтальные линии, а это не так в общем случае. И у тебя не одна фича из трёх матриц, у тебя три разных фичи по цветам.
Сместись уже на второй уровень, когда у тебя уже матрица признаков этих самых горизонтальных и вертикальных линий. Теперь тебе надо там где горизонтальные прибавить, а там где вертикальные убавить. Как ты это сделаешь с помощью одного фильтра для всех признаков?