devel787

> Мне как то не по душе просто по инструкции все устанавливать и смотреть на результат,
> хочется понимания что и зачем, когда надо и.т.д.
> Да и писать код мне намного интереснее, чем копипастить конфиги.
> Помогите разобраться, с чего начать?
> Можете просто посоветовать что лучше в начале.

Прочитайте серию Мега-Учебник Flask.

Learn how to fix a Django bug from beginning to end

Где-то в условиях пользования поиском от Яндекса явно написано, что парсить этот сайт запрещено.
Так что вы всё делаете "не так" и Яндекс будет активно вам противодействовать.

Возможно это раздел документации чем-то поможет
doc.pytest.org/en/latest/fixture.html#fixtures-can...

pythontesting.net/start-here

> Создал виртуальную машинку с убунтой
Можно не выключать виртуальную машину, а приостанавливать.
И не нужно будет ничего запускать при загрузке виртуальной машины.
А в 1-й раз можно запустить всё нужное в tmux или screen.

lucumr.pocoo.org/2015/12/21/introducing-lektor
https://www.getlektor.com/

Возможно, вам будет интересен доклад
"Александр Сибиряков - Frontera: распределенный робот для обхода интернета в больших объемах"
https://youtu.be/hV929rp1YmI

Возможно, чем-то поможет pythonz.net/articles/44

Возможно, чем-то поможет phantomjs.org

noeticforce.com/best-free-tutorials-to-learn-pytho...

https://github.com/rosarior/awesome-django#cms
+
https://github.com/vinta/awesome-python/#cms

awesomescreenshot.com/0c5527cza2
+
https://speakerdeck.com/moscowdjango/potroshim-zmi...
+
pyvideo.ru/video/261/potroshim-zmeiu-dis-module

ещё есть igordavydenko.com/talks/it-weekend-kyiv/#slide-1

learnxinyminutes.com/docs/python

> как его грамотно (правильно) развернуть
https://www.digitalocean.com/community/tags/python...

Возможно, чем-то поможет
bits.citrusbyte.com/protecting-a-python-codebase
bits.citrusbyte.com/protecting-a-python-codebase-part-2
bits.citrusbyte.com/protecting-a-python-codebase-part-3

> как хранить настройки settings.py в разрезе devel, product и тд
https://docs.djangoproject.com/en/1.8/topics/setti...

Много ответов на подобные вопросы есть в книге "Two Scoops of Django: Best Practices for Django 1.6".
Можете поискать её на rutracker.org/forum/index.php по строке "Two Scoops of Django"

Возможно, чем-то поможет djbook.ru/forum/topic/3180

nginx.com/blog/microservices-at-netflix-architectu...