Т.е. вы хотите не поддерживать старый код, а переписать его с нуля? Ну тогда вообще всё равно какой фреймворк использовать. Они все вместе с jQuery работать умеют.
Это одна из основных проблем "бесконечного скролла". У вас всё время растёт DOM, каждая новая картинка отъедает память, естественно всё лагать начинает. Нужно прятать те картинки, которые не попадают во вьюпорт. Опять же нужно стараться, чтобы DOM-элементов было как можно меньше. В идеале только сама картинка.
