Ранее всегда пользовался GridLayoutManager. Иногда FlexboxLayoutManager.
Когда элементов более 100, список при прокрутке начинает тормозить и клик на элементе срабатывает с задержкой в 1-2 секунды. тормоза в общем явные. На разных устройствах проверил.
При этом, когда меняю на LinearLayoutManager работает все без проблем. Просто все в один столбик. А нужно сделать в 3.
Всё таки GridLayoutManager для этого предназначен, и 100 элементов это не то количество которое может тормозить. Нужно замерять где идет просадка по производительности, может вы что-о накосячили с обновлением списка.
P.S. Предыдущий свой ответ удалил, ввиду его "костыльности".