Ivan Yakushenko

1. Они запускаются по списку, но какие-то процессы отрабатывают быстрее и получают следующий таск раньше, поэтому кажется, что не по порядку. Один и тот же таск не будет запущен разными процессами дважды.
2. Не использовать мультипроцессинг.

Заранее спасибо за код!

За готовым кодом сюда

За информацией сюда

Ну может проблема в том, что ты не стал читать то, что написана на сайте?
При отправке запроса по твоей ссылки ты получишь

в type написано -plain, т.е. обычный текст, а ты в коде считаешь, что это JSON и пишешь res.json()

На сайте написано, чтоб получить json, нада добавить json в параметры запроса...
Вот твой же код по сути, тока с правильной ссылкой....


ЗЫ Питон слишком простой, чтоб сделать что-то не так в коде, смотри на данные лучше и логику...
И читай доки к API

Скажу сразу c# я не люблю, как и компанию microsoft и их продукции (не кидайте палки),

Это пройдёт с возрастом.

Ответ: C#.

Хотя нет, метод с ttl всё ещё работает. Для тех кому нужно я объясню что это такое и с чем его едят.

Дело в том что каждое устройство (Мобильник, ноутбук, и тд) которые поддерживают wi-fi соединение имеют так называемый ttl. У ноутбуков по-умолчанию ttl равен числу 128 а у мобильников на базе андроид ttl равен 64, я не знаю как там у модемов поэтому простите с этим не помогу.
Допустим что вы раздаете wifi с телефона на ноутбук (в моем случае на ноутбук под управлением linux, но я затрону и windows 10), следовательно по-умолчанию на телефоне ttl = 64 (но оператор получает число 63, потому как отнимает единицу. Честно, я не совсем понял для чего это нужно делать), а на ноутбуке ttl = 128 (оператор получает число 127). Так вот оператор отслеживает всё это дело, и понимает что телефон раздет интернет устройству с ttl = 127 (то есть ноутбуку), и следовательно таким образом он налаживает ограничение.
Так вот, логически подумав мы приходим к мысли изменить ttl компьютера на 65 чтобы оператор при выходе получал число 64, следовательно он будет думать что вы никому не раздаете интернет а просто сидите в нём через свой телефон и ограничения не будут навязываться.

И так, думаю я вам не запарил с этим мозги и перейду к сути дела, с начала расскажу как изменить значение ttl на линуксе а потом на виндовсе.

Для линукса достаточно в терминал ввести sudo sysctl -w net.ipv4.ip_default_ttl=65, после чего нужно перезагрузить устройство, и после проверить что ttl равен действительно 65-и, для этого есть команда ping 127.0.0.1, тут я думаю вы и сами увидите куда смотреть, если ttl = 128 значит что-то пошло не так и гугл вам в помощь, но это маловероятно!

Для виндовса я использовал эту программку, softrare.ru/windows/ttlpatch
там всё предельно ясно, вводите в специальное поле число 65 применяете, ПРОФИТ! Всё должно работать.

Думаю тем кому нужно я помог. И ещё это решение наверняка будет работать и с другими операторами!

Чтоб мамкины веб-дизайнеры не могли украсть на свой сайт.
Чтоб, даже если украдут, то рекламировали сайт-источник.
Ну и чтоб изменить хеш-сумму уже украденного.

Чтение кода один навык
Написание - другой

Просто чтение, без серьезной концентрации внимания, - сведется к тому что вы будете пробегать глазами по коду и переходить на следующую страницу
Без понимания, что произошло в коде
Что не просто бесполезно, а очень бесполезно

Чтение с дебагом в голове появляется после того как сам напишешь такой же код много раз
Очень много раз
Но даже после того, без концентрации внимания можно пропустить ньюансы

Из-за того, что файлы отправляются не так.

r = requests.post(send_img_url, data={'chat_id': '-351543550'}, files={"photo": open(img_name, 'rb')})

Dict Comprehension

я предположил, что в хедлесе драйвер не знает в какую папку ложить твою загрузку, и нагуглил что-то подобное https://stackoverflow.com/questions/45631715/downl...

Рекомендую осуществлять прямой поиск атрибута, а не через цепочку. Такой подход будет гарантировать нахождение именно вашего атрибута.

Рекомендую так же, перед явным поиском делать print(qr.text) что бы убедиться в том что он нашел необходимый кусок

Можно попробовать .get_attribute("innerHTML")

Р. Митчелл. Скрапинг веб-сайтов с помощью Python.

Там все, что вам нужно по теме парсеров на Python.

p.s. говорят, что эту книгу какие-то нехорошие люди выложили в определенные места с ромом и черными флагами.

Стоит научиться отличать классы от объектов, это базовые знания. Либо создайте объект своего класса прежде, чем обращаться к его методам

api = MainApi()
api.verifyUser(email, password)

либо сделайте метод verifyUser методом класса

class MainApi(object):
    server = 'http://127.0.0.1:8000'

    @classmethod
    def verifyUser(cls, email, password):
        #тут параметры и тд
        r = requests.get(cls.server + '/api/login/verifyuser/', params=req_params)
        return r.json()

Можно вообще без браузера, в headless режиме, то есть прорисовка есть, но в памяти, и до непосредственной отрисовки дело не доходит. То есть скриншоты будут также работать, все также, но без запуска GUI

Нужен флаг --headless, смотрите доку по веб-драйверу к вашему фреймворку

Начать нужно с понимания, что BeautifulSoup только анализирует html-разметку, а в получении её с сервера не участвует. Соответственно вопрос подключения к прокси не имеет никакого отношения к BeautifulSoup. Следующим шагом будет чтение документации той библиотеки, с помощью которой вы получаете разметку с сервера.

Можно вот так попробовать:

import logging

# create logger with 'spam_application'
logger = logging.getLogger('MyApp')
logger.setLevel(logging.DEBUG)
# create file handler which logs even debug messages
fd = logging.FileHandler('MyApp_Debug.log')
fd.setLevel(logging.DEBUG)
# create file handler which logs even error messages
fe = logging.FileHandler('MyApp_Error.log')
fe.setLevel(logging.ERROR)

# add the handlers to the logger
logger.addHandler(fd)
logger.addHandler(fe)

logger.debug('test message debug')
logger.error('test message error')

В MyApp_Error.log попадают только Error, а в MyApp_Debug.log и Error и Debug

Если у ключей будет плохая хэш-функция (__hash__) — замедление будет сильное. Например, если все ключи будут отдавать хэш 42. Тогда открытая адресация просто умрёт, пытаясь найти очередную свободную ячейку в хэш-таблице.

В остальном, хоть 100, хоть 10000000 — неважно. Вероятность коллизии примерно одинаковая. И амортизированная сложность вставки/получения/удаления элемента — O(1)