Andrey_Dolg

Ох тут 3 варианта.
1) Вы можете отказаться от js и написать ту же автоматизацию того, что делает браузер на selenium(управляет браузером для тестирование что надо, по факту его и используют в python не зная об обезьянке и почти не видя js) всё это будет представлять из себя уже python код который запускает браузер. Если не можете реализовать логику на python, то selenium может сделать то же, что и обезьянка и подгрузить туда js добавляя тег < script >...< / script > в тело страницы(не редко так реализуют логику скролла).

2) Используя тот же selenium вы можете в браузере управляемым им развернуть в рантайме обезьянку и запушить туда свои js скрипты и выполнить переход на нужную страницу. (Опция крайне сомнительная и фиг его знает как разворачивать скрипты для расширения думаю просто закинуть файлы но подтянутся ли они кто знает).

3) Без использования selenium но с оговорками к браузеру. Если не нужен прямо новый браузер то можно использовать распаковку портативной версии браузера firefoxPortable с предустановленной обезьянкой и скриптами без истории кроме как захода на сайт обезьянки для установки. Далее пользуемся pyAutoGui и работаем со свежей распакованной версией, в координатах рабочего окна, в коде пишем как двигать мышкой и когда нажимать, геморрой будет тот ещё. Но при прочих равных ваш браузер запустится и исполнит что надо после копию удалить и при новом запуске снова из python распаковываем портативную версию делаем что надо и удаляем.

Моё мнение:
1) Наиболее отличный кейс для почти всего и вся. (опция с добавлением тега скрипт в тело страницы думаю то что нужно)
2) Кейсов для этого монстра не встречал не советую даже пробовать.
3) Знатный геморрой, но как минимум был кейс где это имело смысл.

Используйте css селекторы или xpath. Из вашего примера:
soup.select("div.act_first")
Как результат:

<div class="act_first">
  <div class="stats">

    <div class="key">COLOR</div>
    <div class="value">Brown</div>

  </div>
</div>

BeautifulSoup создан для того чтобы вы не работали со страницей как с текстом.

(заранее мне их положение не известно).

Сомнительно что нельзя выбрать что-то одно используя класс.
Так же если вы хотите избежать дублей используйте множества.

Ну 5к это мало так что всё окей, но обрабатывать лучше генератором или выгружая конкретный параметр. Статистику храни где хочешь хоть в виде файлов на каждого юзера. =)
Но раз ты знаешь, что такое mysql то используй его или sqlite, любая база упрощает работу с данными.

Сложно говорить без кода однако при работе с файлами в pyindtaller нужно помнить пару вещей.
1) Не всё что нужно программе будет упаковано и не редко часть файлов нужно будет писать, в спек сборки самому.
2) Ваша программа во время исполнения находится во временной директории("/tmp/_MEI34121" как пример) из-за чего нужно немного иначе работать с путями до файлов.
" имя модуля" (любого другого) не является внутренний или внешней командой, исполняемой программой или пакетом файлов"
Визуально они вызываются в cmd как команды почему вопрос к вам.

Вы же и так знаете ответ.

Ввиду скудности знаний об импорте и области имен что видит ваш основной файл, я могу лишь вам предложить определить requests в исполняемом файле. Так как вы импортируете функцию то можете и взять ссылку на модуль из того же файла или явно написать импорт.

Кроме selenium есть более сложный для понимания, но более легкий в плане ресурсов вариант с анализом запросов браузера, и постройки из этого правильной цепочки запросов к сайту с помощью того же requests. Обычно возможности requests покрывают 90% случаев вытягивания данных и или выполнения действий на сайте.

Я удивлён что у вас хоть что-то вызывается. ;)
Вам стоит переименовать класс и тогда не придётся разбирать дичь. =)

Исправьте ошибки в коде, после попробуйте вызвать методы вашего класса, метод init вызывается каждый раз когда вы пишитеDuck('Howard')

По теме вы сделали модель и зарегистрировали её в админке(правда зачем в urls.py кто знает). Осталось создать метод для рендера html во views.py и добавить пути и вызов метода из views в urls.py.
А так стоит пройти туториал по django хоть на django girls хоть перевод официальной документации и кони с людьми будут целы.

почему-то возвращает не все картинки из галереи, а ровно 8

Намёк на прокрутку и как самый простой путь использование selenium'a или разбора JS для прямой подгрузки элементов в 1-ой сессии post запросами.

Либо ищите в доках селениума. Либо автоматизируйте на уровне gui. Мне пока сложно сказать какие ещё есть пути.

У вас 16 комбинаций user/ip + 2 минутный таймаут и юзер без кук так что это ещё хороший вариант.

Добавлю вы можете отталкиваться не от class/id, а от слов и типов элементов это немного сложнее воспринять, но и очень сложно с точки зрения изменения на сайте. Ну и как вам и сказали читайте xPath(куда проще) штука крайне хорошая и если осилите(понимаю что может казаться сложным) упростите себе жизнь на порядок.

Можете привести фрагмент кода где грузится изображение?

Можете пробовать, по стеку django сомнительно крайне лучше flask(но рынок ещё меньше), не то чтоб django сложен но без навыков вы мало что сможете предложить заказчику. Далее часть заказов на python это ML/Data analysis/Api integration визуально тоже не ваша ниша. Ну и манкикодинг на python это создание скраперов данных тут стек(scrapy/bs4/selenium) при отсутствии знаний баз данных дальше выгрузки данных в exel/csv/google spreedsheet с деплоем скажем на heroku вы не уйдёте, ну и заказы от 5 до 30$ с конкуренцией в виде индусов и китайцев. Я не знаю вашей ситуации, но лучший вариант найдите наставника который сможет вам скидывать заказы и подучать вас именно фрилансу. Реалистичный вариант увы зачастую офис и работа php/html в хорошем случае python.

В коде явно присутствует логика работы вкладок. Сами по себе вкладки независимы друг от друга изначально. Где-то в tabWidget обрабатывается нажатие.

Я честно думаю вы ошибаетесь в логике работы, хотя если ошибаюсь я, то буду рад это знать.
Во первых, если вы не используете эмуляцию браузера, то парсеры делают слепок страницы(1 раз).
Любые новые данные, либо вы их напрямую с того же POST запроса берете, либо запрашиваете страницу с новыми параметрами, если возможно, либо используете selenium и UI вместо запросов.

Проблема не в pyinstaller как мне кажется. Гуглите первую строку Fatal Python error: initfsencoding: unable to load the file system codec.