Как уменьшить число 5хх и 4хх ошибок при парсинге?

Andrey_Dolg, Scrapy - полноценный движок для скрапинга, полноценный скрапер с огромным количеством фич, мидлвейров, пайплайнов.

Как уменьшить число 5хх и 4хх ошибок при парсинге?

Может быть стоит попробовать Scrapy?

Как вызвать нужную секцию python?

gibsonen, Судя по строкам 298 и 299

torch.save(model.state_dict(), 'params.ckpt')
torch.save(model, 'model.ckpt')

какие-то два файла .ckpt появятся в той же директории.

Можете объяснить мне что не так с моим кодом?

но думаю из кода можно понять каким оно было.

Я не понял.

Как правильно написать скрипт смены пароля на Python?

Конструкция else: работает только с предусловием if,

for/while/try ...?

В чём отличие атомарной операции от транзакции?

ТыжСисАдмин, А ещё в peewee есть db.manual_commit(), который делает транзакции абсолютно ручными в блоке действия менеджера контекста. То есть, что бы не писалось в этом блоке, если в нём же не вызван db.commit() -- ничего не будет зафиксировано. Может, это больше подходить под мою задачу писать либо в две таблицы, либо ни в одну?

В чём отличие атомарной операции от транзакции?

ТыжСисАдмин, А я не совсем понимаю, может быть можно в один атомик положить сразу два запроса?

В чём отличие атомарной операции от транзакции?

В peewee можно делать вложенные атомики, но вложенные транзакции - не очень. В доках написано, что так лучше не делать, поэтому конечно вопросы.

Как проверить, принадлежит ли пользователю паблик через его токен?

копирует все данные из адр.строки, переходит на сайт и вставляет в другой инпут

Фоткает паспорт на веб-камеру, выкладывает его у себя на странице, прикрепляют интимную фотографию ... чего ещё?

Возможно ли в Python перегрузить двоеточие?

Список специальных методов, которые возможны для перегрузки строго определен в документации.

Надеюсь, и не будет.

Можно ли гарантированно записать информацию в две базы данных?

Сергей Горностаев, Кэш не думаю что подойдёт. Что программе нужно делать с началом работы - так это как можно быстрее определить, есть ли вообще данные по определенному ключу в базе данных, то есть первым же обращением. А закэшировать его раньше, чем оно произошло ... :) можно только скинув всё в быстрое хранилище заранее.

Можно ли гарантированно записать информацию в две базы данных?

Сергей Горностаев, Да, этот вариант я тоже рассматривал. При старте всего процесса, грубо говоря, работы программы писать в редис данные формата ключ => необходимое для быстрого чтения значение, но не будет ли это проблемой, например, если таким образом нужно будет записать миллион ключей? А если десять?

Можно ли гарантированно записать информацию в две базы данных?

Опишу, наверное, общую суть проблемы здесь, дабы не смазывать сам вопрос. В задаче нужно убить сразу двух зайцев - нужен быстрый доступ к данным, чтобы сравнивать определенное значение по определенному ключу (для этого используется redis) + хранение большого количества структурированных полей, по которым сравнение не идёт и которые вытаскивать нужно редко (для этого используется postgresql). В redis всё запихать не получится по причине того, что если всё упадёт, а редис ещё не записал данные на диск - потом будет бобо. В postgresql всё запихать тоже не получится по причине того, что нужно достаточно много селектов всего одного значения, которые выполнять нужно как можно быстрее.

Как мне сделать такое?

Владислав Лысков, кажется, Vk Coffee это реализовывали. Но у них свой клиент.

Почему docker-scrapyd использует Python 2.7, вместо Python 3.7?

Верно, проблема решилась использованием образа yc7en/scrapyd-py3

Почему docker-scrapyd использует Python 2.7, вместо Python 3.7?

И что, попробовать банально заменить pip на pip3 в кастомном Dockerfile'е?

Как эффективно использовать Docker + Docker-compose при разработке?

Igor Deyashkin, проблем вне докера у меня нет)) а с ним есть потому, что для меня это новая технология и в данный момент она мне кажется неудобной, несмотря на просмотренные видеоуроки, прочитанную документацию и иную литературу.

Как эффективно использовать Docker + Docker-compose при разработке?

Если вы вносите изменения в проект который примаплен через volume - то контейнер их тут же видит.
Умеет ли ваше приложение видеть что локальные файлы изменились, и применять их - это уже другой вопрос.

Неправда. Задеплоил приложение - чтобы хоть какие-то изменения посмотреть - нужно потратить минут 10, чтобы во-первых удалить все контейнеры руками, потом удалить все образы руками, потом собрать заново.

Почему внутри Docker-контейнера не устанавливаются все зависимости из requirements.txt?

alfss, Дмитрий Шицков, Проблема решилась, но не совсем понятно как. Контейнеры и образы то иногда собираются, то иногда не собираются при старте.
Вообще, использование докера похоже на связавание рук у себя за спиной с криками "вооот как мне удобноо!1".

Почему внутри Docker-контейнера не устанавливаются все зависимости из requirements.txt?

Дмитрий Шицков, Используя CMD, ничего не изменилось.
В чём различие ADD и COPY?

alfss, пока контейнер не упал, я успел сделать freeze. Странно, но redis'а там нет. Хотя в моём requirements.txt он есть.

pip freeze

asn1crypto==0.24.0
attrs==19.1.0
Automat==0.7.0
cffi==1.12.3
constantly==15.1.0
cryptography==2.6.1
cssselect==1.0.3
hyperlink==19.0.0
idna==2.8
incremental==17.5.0
lxml==4.3.3
parsel==1.5.1
peewee==3.9.5
psycopg2-binary==2.8.2
pyasn1==0.4.5
pyasn1-modules==0.2.5
pycparser==2.19
PyDispatcher==2.0.5
PyHamcrest==1.9.0
pyOpenSSL==19.0.0
queuelib==1.5.0
Scrapy==1.6.0
service-identity==18.1.0
six==1.12.0
Twisted==19.2.0
w3lib==1.20.0
zope.interface==4.6.0