Селениум тут не нужен.
requests bs4 для начала самое то. Мануалов куча.
Легко соберёшь данные. В переменные писать не нужно! Данных много пиши в словарь. Потом сможешь делать с ними что хочешь хоть в json завернуть.
Если нужно собрать именно линки посмотри в сторону requests-html сделан на базе requests. Фишка в том что может собрать все урлы со страницы и ещё много разных плюшек для ленивых)
Есть Django для больших проектов с админкой и разными плюхами. Есть Flask для менее сложных проектов. Хотя и на Flaske можно сделать любой сложный проект, но придётся пожертвовать время.