Возможно ли улучшить свои навыки логического мышления?

Developer, латынь выучи - в следующий раз не ошибешься ;)

Возможно ли улучшить свои навыки логического мышления?

Алексей Ярков, сам виноват.

Возможно ли улучшить свои навыки логического мышления?

Асхат Бикметов, т.е. ты утверждаешь, что выучив латынь ты прокачаешь логику?

Возможно ли улучшить свои навыки логического мышления?

Rag’n’ Code Man, ну и учи его, в чем проблема? А подобного рода задачи - максимально идиотские и алогичные, ответ на них всегда ровно тот, который придумал автор.

Возможно ли улучшить свои навыки логического мышления?

Rag’n’ Code Man, да

Фриланс недобросовестный заказчик не заплатил за работу, что делать?

XEHKOK, вы "Fullstack Middle Web Developer моя ставка вообще 900р" и паритесь о 10к? =)))

Какой фрейморк лучше подойдет для разработки чат бота?

Дмитрий Башинский, прежде чем писать - научитесь читать. MBF вообще никак не связан с вопросом топика.

Интеграция WSL и PowerShell?

А в чем проблема просто открыть powershell?

Как на python через Selenium создать нормальный профиль Firefox?

Вячеслав Грачунов, действительно, спросили совета, но решили его проигнорировать и не установили необходимый параметр, зато написали что ничего не работает.

Как корректно работать с одним объектом при использовании Pool (multiprocessing)?

coderisimo, нууууууууу с натяжечкой окей, допустим. Но только если в какой то момент у вас встанет задача парсить не 10к товаров, а 50-100к и желательно не за день, а за несколько часов (хотя бы), то перед вами встанет дилемма - или платить сотни долларов в месяц за инстанс в условном google cloud, который будет вытягивать сотни параллельных процессов, или делать нормальную архитектуру.
В итоге для именно этой задачи решение в качестве ознакомления допустимо, но зазора на будущее нет.

Как корректно работать с одним объектом при использовании Pool (multiprocessing)?

coderisimo, сколько процессов собираетесь запускать? Какой стек (бибилотеки/фреймворки) собираетесь использовать? Тут ситуация такая, что нужно знать тонкости. В 1 случае из 10 вы ничего не измените, ничего не получите, в другом случае из 10 вы все только усложните и вообще упретесь в стенку, но в 8 случаев из 10 правильная архитектура - это минимальное потребление ресурсов, максимальная скорость работы скрипта в целом и возможность масштабирования любого этапа работы скрипта.

Как корректно работать с одним объектом при использовании Pool (multiprocessing)?

coderisimo, в общем ваша задача - написать парсер? Т.е. заходите на сайт и ищите там нужную информацию? В идеале это должно быть так:
1. Асинхронно загружаем URL'ы. Результат загрузки отдаем в очередь (Queue) на обработку.
2. Как только в очереди есть новая загрузка - запускаем процесс, которые будет обрабатывать загруженные данные. Дальше результат обработки помещаем в другую очередь на запись.
3. Как только в очередь на запись поступает новый элемент - записываем его асинхронно.

Раз в идеале загрузка должна быть асинхронной, то и ротатор тоже. Но это все в идеале, на деле прийти к подобному решению самому и сразу - практически невозможно, я так думаю. Возможно позже (не сегодня) я на примере какого-то условного сайта покажу пример подобного парсера. Если конечно я понял верно постановку задачи.

Как корректно работать с одним объектом при использовании Pool (multiprocessing)?

coderisimo, трудно сказать не зная что именно вы делаете. Если вы делаете просто ротатор, что-бы был, то да лучше в потоках, если работаете с сетью - асинхронно, но тогда принцип немного другой - используйте Queue. Но только ни в коем случае не мешайте всё в одно. Т.е. если у вас есть функция, которая по сети получает информацию - выполняйте её асинхронно и если затем вы хотите эту информацию как-то обработать - саму обработку лучше делать в отдельном процессе.

Как корректно работать с одним объектом при использовании Pool (multiprocessing)?

coderisimo, я просто на всякий случай варианты применения. Но лучше не делайте ротацию прокси на процессах - ресурсы в никуда.

Как корректно работать с одним объектом при использовании Pool (multiprocessing)?

coderisimo, если что, то примерно так:

def drinking_with_friend(friends_list):
    try:
        data = friends_list.pop(0)
    except IndexError:
        print('There are no more sober friends')
        return False
    interval = random.random() * 10
    print('Start Drinking with {:>20}   time for drinking (duration {} )'.format(data, interval))
    time.sleep(interval)
    print('Finish Drinking with {:>19}   time for drinking (duration {} )'.format(data, interval))

И вывод:

Start Drinking with                Vasya   time for drinking (duration 0.525207635674314 )
Start Drinking with                Petya   time for drinking (duration 8.101208126205927 )
Start Drinking with                Kolya   time for drinking (duration 5.656888553205503 )
Start Drinking with                Sasha   time for drinking (duration 9.985692547228792 )
Finish Drinking with               Vasya   time for drinking (duration 0.525207635674314 )
Start Drinking with                 Ivan   time for drinking (duration 6.944745503696382 )
Finish Drinking with               Kolya   time for drinking (duration 5.656888553205503 )
Start Drinking with                 Alex   time for drinking (duration 8.269980798554679 )
Finish Drinking with                Ivan   time for drinking (duration 6.944745503696382 )
Start Drinking with                Semen   time for drinking (duration 7.068649522212147 )
Finish Drinking with               Petya   time for drinking (duration 8.101208126205927 )
Start Drinking with       Goga Aka Gosha   time for drinking (duration 5.178367620321175 )
Finish Drinking with               Sasha   time for drinking (duration 9.985692547228792 )
There are no more sober friends
There are no more sober friends
Finish Drinking with      Goga Aka Gosha   time for drinking (duration 5.178367620321175 )
Finish Drinking with                Alex   time for drinking (duration 8.269980798554679 )
Finish Drinking with               Semen   time for drinking (duration 7.068649522212147 )

Как корректно работать с одним объектом при использовании Pool (multiprocessing)?

coderisimo, ну да, всё правильно, как я изначально и писал. Если вы не хотите что-бы один и тот-же элемент вообще когда-либо повторялся, то можете обратно в общий список не добавлять. Тогда в какой-то момент список останется пустым, а оставшиеся процессы при попытке выполнить pop() получат IndexError и умрут, ну лучше так не делает и обрабатывать исключение и нормально завершать процесс.

Как корректно работать с одним объектом при использовании Pool (multiprocessing)?

coderisimo, да, все так. Как я и сказал в теории все запущенные процессы в один момент могут получить одинаковые значения и чем мощнее компьютер, тем эта вероятность больше. Т.е. если все процессы запустятся ровно в одном и тоже время вплоть до миллисекунды, то они 100% получат одинаковое значение.

Как корректно работать с одним объектом при использовании Pool (multiprocessing)?

coderisimo, у вас алгоритм недееспособный. Посмотрите на вот этот кусок кода:

def rotator(used):
    index = random.randint(0,len(my_list)-1)
    while my_list[index] in used: 
      index = random.randint(0,len(my_list)-1)

И хорошенько подумайте что тут происходит. Помогу вам: у вас запускается 4 процесса, в теории все эти 4 процесса могут выбрать одно и тоже значение и оно будет валидным, т.к. на данном этапе в used оно отсутствует, и когда все эти 4 процесса уже взяли какое-то значение только после этого оно добавляется в used. Я показал вам пример как производить ротацию, что бы гарантировать то, что 2 процесса не будут обращаться к одному и тому-же объекту, нужно что бы этого объекта просто не было в списке. Вы можете играться с Lock, но тогда конкретно в вашем случае поток выполнения будет блокироваться пока 1 процесс не закончит операцию и только затем начнет обрабатывать следующий процесс. Абсурд, т.к. по сути вы превратите многопроцессорный-параллельный скрипт в многопроцессорный-последовательный.

Как с помощью Pandas разбить ячейку Excel?

Алексей Р, ожидаемый результат как я указал выше скиньте мне. Пытался скачать файл как время было, но загрузка недоступна.

Как корректно работать с одним объектом при использовании Pool (multiprocessing)?

coderisimo, если вам нужно просто достать элемент из списка, что-то с ним сделать, а затем вернуть - вы все так же можете воспользоваться pop(). Если элемента не будет в списке, то и взять его процесс не сможет =)
Только учтите, что если в какой-то момент список окажется пустым, а какой-то процесс попытается взять из него элемент с pop(), то будет ошибка IndexError.