Селениум тут не нужен.
requests bs4 для начала самое то. Мануалов куча.
Легко соберёшь данные. В переменные писать не нужно! Данных много пиши в словарь. Потом сможешь делать с ними что хочешь хоть в json завернуть.
Есть Django для больших проектов с админкой и разными плюхами. Есть Flask для менее сложных проектов. Хотя и на Flaske можно сделать любой сложный проект, но придётся пожертвовать время.