Relative/Constraint будет быстрее кучи Linear'ов c весам. Веса тут важны, тк они дают второй проход по детям Linear'a, и сводят на нет его простоту. Вложенность это плохо всегда.
На самом деле, могу высказать непопулярное мнение - если есть сложный layout внутри Recycler'а, и этот layout необобщенный, а очень даже конкретный, то есть смысл подумать над тем, чтобы сделать его кастомным. То есть унаследоваться от ViewGroup, накидать вьюх (addView)и реализовать onMeasure/onLayout. Если сделать это правильно, то это будет 100% быстрее любого layout'a общего назначения.
Для себя вывел эмпирическое правило - Constraint'у внутри Recycler'a не место. Тормозит.