lega

В вашем случае наверно самым оптимальным будет параллельное вычерпывание сортированных данных (по одному проходу по каждому серверу и одной записи на каждую строку), если % пересечений высок.

А вообще почему не сделать шардинг?, сделать индекс (например) по 3-м полям и заливать данные в нужные сервера (типа всех alex на 1 сервер, max на 2-ой), что-б не было пересечений, таким образом данные мержить не нужно будет + экономия памяти.
Так же непонятно наличие мастер базы, вполне возможно её можно было избежать.

По сути там 4 вещи которые могут "тормозить": cpu, диск, сеть, сервера (откуда скачивается).

1) Посмотрите не загружено ли одно ядро на 100% (речь не про весь процессор), если есть 100% то нужно "форкать".
2) Отключите сохранение:

def data_process(data, url, headers):
    pass

Если при этом cpu < 100% а сеть не загружена по максимуму - значит (промежуточные) сервера отдают медленно.

Рабочий пример.

Вам нужен "синглтон", вот 3 примера.

Модуль является синглтоном для приложения.

if a != None

В питоне проверку на None нужно делать через is/is not
if a is not None:

Конкретно в подобной задаче можно сделать так, чтобы не было трехэтажных блоков if/try

>>> next(open('file'))
'first line\n'

>>> re.findall(r'\d+', data)
['1', '2', '3', '44', '22']

Функция вычисляется достаточно долго...
Для ускорения вычисления необходимо сохранять уже вычисленные значения функции при известных аргументах.

А в коде ф-ия вызывается дважды:

print(f(a))
d[a]=f(a)

Конечно 3.x,
если будет чего-то не хватать, то можно будет вызвать из 2.x тем или иным способом.

Вам нужно оптимизировать алгоритм, использовать меньше памяти, перевести все что возможно на итераторы.
Например этот код в теории создает 3 гигантских массива:

corpus_neg=[i.decode('utf-8') for i in data_text_score['text'][data_text_score['score']==0]]
    corpus_pos=[i.decode('utf-8') for i in data_text_score['text'][data_text_score['score']==1]]
    corpus_all=corpus_neg+corpus_pos

Можно изменить например так, corpus_all вернет те же данные без использования списков.

def corpus_all():
    for i in data_text_score['text'][data_text_score['score']==0]:
        yield i.decode('utf-8')
    for i in data_text_score['text'][data_text_score['score']==1]:
        yield i.decode('utf-8')

MongoDB возвращает то что вы записали, если вы запишите int через pymongo то и вернется int, если писать из js-консоли, то нужно "привести" число к int с помощью NumberInt или NumberLong.

Можно изменить минуты, секунды через replace, либо создание нового datetime с нужными числами, а потом вычесть из now().
Тут есть полезные примеры.

Можно ставить в папку пользователя, см. pip install --user ...

Вы можете вынести функционал из модуля и в модуле его перезагружать, + делать "проксирование" этого функционала в приложение.

У вас в коде неправильные отступы - перемешаны табы и пробелы, используйте что-то одно, рекомендуется пробелы. Далее выровняйте elif по одному уровню кратно размеру отступа.