Dimonchik

или content downloader

API

multucurl спасет тебя, 200 в секунду реально

спарсить можно все отовсюду

вопрос только в ограничениях сайта и затратах

proxy , много-много, если вы о Гугле, это основное препятствие

базы обычно две - NoSQL для неструкрутированных данных (из печки которые), и MySQL / Postgre уже для исорического хранения
сейчас кое под что можно и Clickhouse

Scrapy когда без JS (хотя у них есть варианты и с ), Selenium - когда все остальное, Скрапи лучше

www.telerik.com/fiddler

заголовок отправляешь
если ответ 304, то ничего не изменилось , если 200 - скачиваешь

это, конечно, если сервер так настроен

Scrapy

yahoo finance, Блубмберг, банк

https://habrahabr.ru/sandbox/72702/
https://habrahabr.ru/post/69149/

winwget.sourceforge.net

для статей нельзя,

для Авито есть способы, но накладные по процессу - например, гуглботы и прочие определяются легко

онлайн нет
ибо приходится использовать прокси на машинах людей, не серверные

но для небольшого количества, можно чуть ли не у самого Гугла воспользоваться или браузер сэмулировать

явное лучшя чем неявное - забыл?

или режим файла ( 'wb') переключи на дозапись (ab)
или все в список списков и потом в файл

второе - правильнее

капча суется боту

нужно прикинуться не ботом

1) используй pycurl и только pycurl - быстрее, проще, мультипоточно
2) используй www.telerik.com/fiddler для заголовков и понимания что передается

думаю, в твоем случае достаточно указать сохранение кук и все получится, но - см. п1