lega

Для "разбора" текста удобно использовать re (regex)

>>> re.search(r'([\d\.]+\.)(\d+)-[\d\.]+\.(\d+)$', '127.0.0.10-127.0.0.50').groups()
('127.0.0.', '10', '50')

Для "массивных" сетевых задач asyncio - можете отправить 10тыс запросов за раз, вместо проверки в цикле.

Я уже на тостере пару раз описывал одно из решений (с расчетом на прирост до 2000 млн записей в день), в кратце:
* таблицы на свалку, нужно паковать чанками (например чанк - 1 час/день данных в разрезе раздела) с индексами в доль разрезов, можно использовать nosql (mongodb с шардингом, хотя вам и одного сервера наверно хватит)
* чанки паковать (экономия до 95% места)
* далее после завершения периодов запускаются задачи которые наполняют "кеш" - строят отчеты во всех разрезах + промежуточные результаты, что-бы пользователю выдавать результат моментально когда он кликает по интерфейсу.

я делал решение на питоне, там где расчет занимал длительное время - делал с++ вставки, в результате расчет выполнялся в ~ х70 раз быстрее, и питон прокачивал более 10млн записей в сек. в один поток с учетом выкачивания из БД

Инструкция как в несколько шагов установить и собрать deb пакет питона, который в дальнейшем можно без проблем ставить на другие хосты. + можно будет удалить/обновить через dpkg.
Актуальна для всех версий питона и Ubuntu 12/14/16 (просто подставляете правильный линк).

Так же можете использовать любой питон через докер:
docker run -it python:3.7

Ваш код делает разные вещи, сделайте аналогичный алгоритм - будет одинаковый результат, md5 не причем

Можно ли спокойно писать на 3.5 потом перейти на 3.6 и.т.д.

Да, ветка 3.х обратно совместимая (на 99,9%), хотя некоторые либы забивают на старые версии, что вообщем то не страшно, а иногда и оправдано.
PS: Я уже на 3.7 с недавних пор...

Оно так изначально и работает

Python 2.7

>>> class Base(object):
...   def from_base(self):
...     self.from_child()
...   def from_child():
...     raise NotImplementedError
... 
>>> class Child(Base):
...   def from_child(self):
...     print('child!')
... 
>>> child = Child()
>>> child.from_base()
child!

Никак, значения создаются в момент компиляции функции (хотя можете каджый раз компиллировать динамический).
Но обычно делают так:

def foo(value=None):
  value = value or []

Затем мне нужно несколько тысяч раз циклками пройтись...

Нет смысла, т.к. в результате будет только один order_id.

При превращении в словарь будет +- то же самое

Один словарь - один индекс, если нужно несколько индексов - делайте несколько словарей. Это самое быстрое - O(1), если все в память влазит. Для этого и монга особа не нужна.

Но я не думаю что у вас это критично по скорости, поэтому лучше не парится и испльзовать монгу как есть, она достаточно быстра.

* Если python версии 2.X то замените все range на xrange.
* "return S" в func_1 не имеет смысла, т.к. ссылка на лист не меняется.
* можете попробовать numpy, мозможно там есть готовые ф-ии для этого, будет работать в разы быстрее или выбрать pypy если есть возможность.

В версии 3+ если поток один, то ничего не перещелкивается (в отличие от 2.х).
На работу потока выделяется определенное время после чего управление передается другому потоку. Поток может прерваться только отрабтав байткод (не в середние), но это может быть середина питон кода, т.е. прерывается в любом месте. Если код - расширение на C, то оно часто не учасвтует в захвате GIL и может работать параллельно без блокировок, т.е. блокируется только питон код, а расширения работают в потоках без блокировок.

Десктоп приложения уже* не пишут, electron/phonogap и пр. а там javascript (не путать с java), так же js нужно знать для клиентской веб разработки, но на сервере он не айс.
Вообщем в наше время одним языком не отделаешься.
Для серверного веба я бы порекоментовал python, а java для "корпоратов" и андройда.

Можете подготовить/переразбить html, удалить переводы строк и т.п.
''.join(page).replace('\n', '').split('<img')
без split можно использовать re.finditer

Так же можно сначала получить все img, а потом вручную отфильтровать по классу.

Когда-то успешно использовал велосипед, для вас будет что-то типа:
xget(html, 'img@class="jshop_img[\w -]+"~src')

qlkvg Фишка в том что не всегда нужен парсинг, иногда нужно просто выкусить/получить пару слов из html. В моем случае regex работал отлично и быстрее чем lxml (и аналоги) в 100-1000 раз, т.к. нужно было обработать всего 1% документа, а не парсить весь.

mongodump/mongoexport

https://docs.python.org/2/library/multiprocessing....

docs.python-requests.org/en/master/user/advanced