Как создать разные сессии/ прокси для каждого запроса?

Question

[Mr.Robot]

def each_req(url, workers):
        sess = cycle(
            [
                "ASP_NET_SessionId=esofh14jmehe1cthhsjzfijf",
                "ASP_NET_SessionId=dgfhjmehe1casdfhsjzfissz",
            ]
        )

        for _ in range(workers):
            return url, next(sess)

    tasks = [
        "reqOne",
        "reqTwo",
    ]
    with concurrent.futures.ThreadPoolExecutor(max_workers=2) as executor:
        future_to_url = {executor.submit(each_req, url, 1): url for url in tasks}
        for future in concurrent.futures.as_completed(future_to_url):
            print(future.result())
# > ('reqOne', 'ASP_NET_SessionId=esofh14jmehe1cthhsjzfijf'), 
# ('reqTwo',ASP_NET_SessionId=esofh14jmehe1cthhsjzfijf')

Задача в том, что бы для каждого запроса была своя сессия, сейчас же для каждого запроса, выдаёт одну сессию.

P.S. Надо разбивать нагрузку по сессиям, т.е. при 2 запросах и 2 сессиях, каждая сессия используется 1 раз, тогда при 10 запросах и 5 сессиях, каждая сессия используется по 2 раза.
Таким образом снижается нагрузка, т.е. одна сессия(прокси) используется не 10 раз, а меньшее кол-во. Этакая имплементация алгоритма Round Robin.

Comments

[Mr.Robot]

На Golang это выглядит след. образом:

// Round Robin algorithm implementation
func RoundRobin(proxies ...string) func(*http.Request) (*url.URL, error) {
    var urls []*url.URL
    for _, proxy := range proxies {
        u, err := url.Parse(proxy)
        if err != nil {
            log.Fatal(err)
        }
        urls = append(urls, u)
    }

    var mu sync.Mutex
    var i, lenUrls int = 0, len(urls)
    return func(r *http.Request) (*url.URL, error) {
        mu.Lock()
        i = (i + 1) % lenUrls
        u := urls[i]
        mu.Unlock()
        return u, nil
    }
}

Answer 1

[Vindicar]

list(zip(sess, tasks)) должно сгенерить список пар "сессия, задача". Дальше уже с каждой парой работаешь.

Comments

[Mr.Robot]

А что если, кол-во сессий меньше кол-во запросов?
Мне надо что бы сессии порпоционально разбивались кол-ву запросов, это некая имплементация round robin.

[Vindicar]

Mr.Robot, ну ты вроде используешь itertools.cycle для сессий, это должно сработать.

[Mr.Robot]

Vindicar, да, это работает