import requests
from multiprocessing.dummy import Pool as ThreadPool #Thread pool
# Длина списка urls = 35000+
urls = get_urls()
pool = ThreadPool(4) # создаем 4 потока - по количеству ядер CPU
results = pool.map(my_mega_function, urls) # запускает параллельно 4 потока и в каждом потоке обрабатывает одно из значений из списка urls с помощью функции my_mega_function. results - то что возвращает функция my_mega_function
pool.close()
pool.join()
def my_mega_function(url): #Функция, которая будет вызываться для каждого запроса
request = requests.get(url)
response = request.text
do_something(text)
import pandas as pd
l1 = [
{'id': 1,'count': 5},
{'id': 2,'count': 8},
{'id': 3,'count': 11}
]
l2 = [
{'id': 1,'name': 'Alex'},
{'id': 2,'name': 'Jack'},
{'id': 3,'name': 'Peter'}
]
l1_df = pd.DataFrame(l1)
l2_df = pd.DataFrame(l2)
res = pd.merge(l1_df,l2_df,left_on='id',right_on='id')
res.set_index('id',inplace=True)
print(res)
l1 = [
{'id': 1,'count': 5},
{'id': 2,'count': 8},
{'id': 3,'count': 11}
]
l2 = [
{'id': 1,'name': 'Alex'},
{'id': 2,'name': 'Jack'},
{'id': 3,'name': 'Peter'}
]
l3 = {x['id']: x['name'] for x in l2}
for x in l1:
if x['id'] in l3:
x.update({'name': l3[x['id']]})
print(l1) # в l1 результат
wget https://raw.githubusercontent.com/celery/celery/3.1/extra/generic-init.d/celeryd
/etc/init.d/celeryd
chmod +x /etc/init.d/celeryd
/etc/init.d/celeryd start
# или так
service celeryd start