lega

Если размер ответа у всех запросов одинаковый, то можно записывать прямо по адресу (как в массиве). А так, можно сделать ф-ию save(index, result), через которую и сохранять результаты, она будет придерживать ответы соблюдая очередность, используя то же словарь например, в итоге, даже если у вас миллиард запросов, а параллельно отрабатывают только 1000 запросов, то размер словаря не превысит 1000.

У вас dead_man используется только в ф-ии road, значит вам нужна не глобальная а статическая переменная, поэтому можно сделать такой трюк:

def road(*, static={'dead_man': 0}):
    print(static['dead_man'])
    static['dead_man'] += 1

road()
road()
road()
road()

Результат:

0
1
2
3

Или так:

def road():
    print(road.dead_man)
    road.dead_man += 1

road.dead_man = 0

road()
road()
road()
road()

Примеры для Python 3, переходите на 3-юю ветку, нечего со старьем возится.

ЗЫ: а вообще это не глобальные переменные, а в пределах модуля, глобальной она будет если её поместить в __builtins__, вот это будет "зло", а в пределах модуля переменные можно использовать (с головой).

Для парсера сайтов лучше использовать асинхронный фреймворк, пример www.py-my.ru/post/4f278211bbddbd0322000000

Генераторы выгодны если (все) данные не нужно хранить, т.е. где-то взяли, куда-то передали, в итоге получается как бы поток информации без потребления памяти.

Есть такой алгоритм (не помню названия):
Слово (или все предложение) формируют группы по 3 символа (или 4),
"стоимость" -> {__с, _ст_ сто, тои, оим, имо, мос, ост, сть, ть_, ь__}
В итоге когда будем искать пересечения (set & set) с ошибочным словом "стоимасть" -> {__с, _ст, ... }, мы получим 8 из 11 совпадений, а вообще если прогнать по всем ключевым словам и отсортировать результаты по релевантности то мы получим "стоимость" на первом месте как самое близкое слово.

Так же тут можно использовать обратный индекс и по слову находить тексты (включая те слова с ошибками).

Видимо папка запуска другая, вы можете перейти в нужную папку перед запуском:

*/1 * * * * cd home/ubuntu/shopify; /home/ubuntu/shopify/env/bin/python /home/ubu...

Либо можно в запускаемом py файле сделать этот переход.

python-docx медленный, можете вручную распаковать docx (zip) и работать с данными напрямую (там xml), не удобно, но работать будет быстро.

Бесконечный цикл в котором отрабатывают все callbacks из списка, далее принимаются все io события, которые вызывают зарегистрированные на них callbacks (те самые get/post не напрямую), которые добавляют новые callbacks в список, и потом все по сначала.

Так же можете попробовать pyodbc (py2, py3), несколько лет его использую, под linux работает стабильно.

Проблема в тот, чтобы определить конец потока этих данных чтобы правильно их распаковать.

Для zlib, вроде, достаточно знать где начало, все что после конца игнорируется.

Гринлеты для сети (io), а не для вычислений.

Если файлы отсортированы, то можно итерировать оба файла одновременно (с выравниванием позиции по значению), таким образом за один проход можно получить пересечение, без необходимости все загружать в память.

Если не сортированы, тогда загрузить в set'ы и выполнить пересечение, как посоветовали выше.

Я для простых расчетов (для проекта на питоне) пробовал go и С, последний оказался удобней и быстрее в ~2 раза (и в 70х быстрее чем питон).

C++ (или C) для олимпиадных задачек, Python для разработки.

https://docs.python.org/2/library/ast.html