Отвечу на свой вопрос ) Еще немного поискал инфу, думал как-то применить исключение цвета вроде chroma key, и оказалось можно применить svg filter, долго описывать не буду, вот итоговый вариант:
jsFiddle
Основная идея в том, что блоку-overlay задаем background в виде data-image svg, svg заливаем тем цветом который позже хотим исключить для эффекта прозрачности, и также мы можем менять размер нашего svg через свойство background-image.
Полезная ссылка про применение фильтра svg
Ответ пока оставлю на пару дней, может кто-то предложит свой вариант, но текущий вполне подходит.
Надеюсь будет полезно кому-то.