У вас сессия существует только в пределах функции get_html и выгребается сборщиком мусора в конце ее выполнения. Вынесите объект сессии в глобальную область видимости и работайте с ним во всех функциях.
Наиболее быстро - в память, надежно - в тетрадку, удобно - это зависит от привычек.
Все популярные БД достаточно быстры, чтобы не быть бутылочным горлышком на этой задаче.
А вот парсер вполне может им оказаться.