Нужно для FAB сделать свой layout, унаследованный от RelativeLayout. В нём добавить
FrameLayout, ему задать соответствующий BackgroundColor c прозрачностью, например, #95ffffff. И затем переключать видимость этого FrameLayout при кликах на FAB (VISIBLE, INVISIBLE).
Проще посмотреть либо взять код
здесь.