Почему происходит «Сайт XXX выполнил переадресацию слишком много раз» и как исправить ошибку «the STRING opcode argument must be quote»?

Question

[ganstar565]

При попытке авторизоваться на сайти с помощью куки используя библиотеку selenium у меня возникло 2 проблемы.

1)Проблема очень распространенная, однако мне так и не удалось её решить(все способы решения у меня не работали) - при попытке взять куки из корня браузера и загрузить их через pickle и selenium вылазила следующая ошибка:

_pickle.UnpicklingError: the STRING opcode argument must be quoted

перепробовал кучу различных способов - ничего так и не помогло.

2)Забрав куки уже с помощью тех же pickle и selenium и попробовав загрузить их на сайт тем же образом сайт выдал следующее:

Сайт xxx выполнил переадресацию слишком много раз.

.
Код:

spoiler

for cookies in pickle.load(open("Сookies", "rb")):
            self.driver.add_cookie(cookies)
            
        print("загрузка завершена")
        sleep(20)
        self.driver.refresh()
        print("готово")
        sleep(10)

Кто знает как решить эти проблемы, помогите пожалуйста.

Comments

[Vindicar]

при попытке взять куки из корня браузера и загрузить их через pickle

А почему ты решил, что там формат pickle?

[ganstar565]

Vindicar, я не знал, просто когда "по образцу" действовать не получалось - начал страдать фигней от безысходности. А какой у них формат?

Answer 1

[Vindicar]

ganstar565, внезапно, зависит от браузера. Например, гугл "firefox cookie storage format" даёт такой ответ:

Cookies in Firefox are stored in an SQLite format database found in the file cookies.sqlite in the currently-active user profile directory (exact path is system-dependent).

Иными словами, смотришь папку %APPDATA%\Mozilla\Firefox\Profiles, в ней каждый подкаталог - профиль браузера, часто один, но может быть несколько. Внутри подкаталога лежит файл cookies.sqlite.
Путь можно сконструировать с помощью os.path.expandvars() (и модуля os.path в целом), файл открыть стандартным модулем sqlite3, а дальше смотри что внутри таблицы moz_cookies.
Для остальных браузеров по аналогии - гугл, потом эксперименты.

Comments

[сергей кузьмин]

Vindicar в браузере куки всегда просто json

[Vindicar]

сергей кузьмин, в каком браузере? Нет такого стандарта.

[сергей кузьмин]

Vindicar, когда браузер берет
https://chromedevtools.github.io/devtools-protocol...

[Vindicar]

сергей кузьмин, ну во-первых, это хром и его потомки. Их, конечно, много, но не 100% рынка браузеров.
Во-вторых, если я верно понял, это внутреннее представление, которое доступно только расширениям браузера. Как сам браузер хранит эти куки на диске - вопрос.

А Stackoverflow говорит, что в каталоге

%AppData%\..\Local\Google\Chrome\User Data\Default\Network

лежит файл Cookies, который, внезапно, тоже база SQLite.
Правда, сами куки там зашифрованы, и мне пока лень искать как их расшифровать.

[zer_0]

Vindicar, не подскажите, как решить вторую проблему, тоже с ней столкнулся. Код по сути такой же как и у автора(является стандартом и все пишут, что куки загружаются таким способом), но сайт при попытке загрузить куки выдаëт вышеописанную ошибку

[сергей кузьмин]

читайте API
https://www.selenium.dev/documentation/webdriver/i...

конечнл куки это JSON
их можно только тогда вставлять когда они подходят по котнесксту на то они созданы

[Vindicar]

сергей кузьмин, а, вы про API добавления кук в селениум. Я вас не понял просто. =)

[сергей кузьмин]

так о том и топик был
Забрав куки уже с помощью тех же pickle и selenium и попробовав загрузить их на сайт тем же образом

[сергей кузьмин]

на линкусе sqlite3 Cookies не уверен что даже защифрованы (base64 не считается) а на Windows так же как и остальные базы в профиле

sqlite3 /home/$USER/.config/google-chrome/Default/Cookies