Mr.Robot

Только что глянул исходники - requests простой как 3 копейки, так как он скорее всего надстройка над urllib3.

Есть идея залезть в github и читать исходники библиотеки requests, но будет ли это верным шагом?

Учитывая тот факт, что эта библиотека по умолчанию установлена во многих дистрибутивах Linux, и является одной из самых популярных в Python - да.

https://nodejs.org/dist/latest-v17.x/docs/api/cons...
Обратите внимание на параметр depth

await page.on('response', response => {
->
page.on('response', async response => {.

page.on не возвращает Promise, он подписывается на события.

Это очевидно, но на всякий случай: то что просходит в callback'e page.on - это уже будет отдельный асинхронный (псевдо)поток, который пойдёт параллельно основному.

Если вы уверены, что это событие сработает только раз, и вам надо его дождаться в основном "потоке", то следует вручную завернуть его в Promise, условно так:

const json = await new Promise(resolve => page.on('response', function onResponse(response) {
  if (response.url() == "https://capuk.org/ajax_search/capmoneycourses") {
    page.off('response', onResponse);
    resolve(response.json());
  }
})); 
console.log('XHR response received');
console.log(json);

врага надо знать в лицо
https://developers.google.com/recaptcha/docs/verify

1. Просто, но эффективно - заголовки запроса, в т.ч.

• User-Agent
  
• Cookie
  
• Referer
  

Также легко подделывается.
2. Использование штук типа prefetch и тому подобных. Если клиент запросил страницу, но не запросил сразу же стили/скрипты на ней - возможно, это бот. Просто, но рискованно (можно забанить обычных людей) и затратно (нужно анализировать отдачу статики).
3. Исполнение JS-кода - например, предлагает клиенту выполнить фоновый AJAX-запрос, который поставит специальную куку. Минус - работает только со второго запроса. Обходится безголовым браузером типа selenium.

можно еще проверять, запросил ли потом ещё какой-то URL, по инициативе JS.

Закрыл ли соединение, или это HTTP/2.

https://apple.stackexchange.com/questions/42426/ca...

Any mid-2010 MacBook Pro i5 or i7 is limited to a maximum of 8GB RAM. If you have a 2010 MacBook Pro Core2Duo (13"), then you are in luck and you can upgrade to 16GB RAM.

The type of RAM needed is DDR3 PC3-8500 1066. I believe there is an EFI limitation in OS X Mountain Lion that will not allow the 2010 i5/i7 Macbook Pro's to be upgraded over 8GB RAM. After doing some digging around, it sounds like the limitation has to do with the IntelHD graphics SW that is used by OS X.

Короче, лучший способ найти память (и раньше так было), знать, подходит ли конкретно к вашему буку конкретная память.
Если нет такой возможности, то можно поискать на авито плашки и договориться с продавцом протестить их на ноуте.
Либо купить в магазине, в котором можно без проблем вернуть их, если не подойдут.

Остается один вопрос - а нужно ли в ваш динозавр вкладываться? не проще продать и купить посвежее, хотя бы первые ретины? Глянул на авито, офигеть цены на них, 20к стоят.
А ретина 2013 на 8гб уже - стоит 25 тыс. Т.е. возможно вам проще взять на пару поколений новее, чем пытаться выжимать последние соки из ноута, который даже не получает обновления.

Наверное, надо задать кодировку?

Нет, это особенность сайта, к которому делается запрос, и на это повлиять нельзя.
Это так в js можно кодировать символы юникода - в данном случае кириллицу.
Написано там "оуцко"

Для декодирования json следует использовать соответствующий модуль:
https://pkg.go.dev/encoding/json

Если просто проверить наличие таблицы, то можно запросом

select * from pg_tables where tablename = 'value_result'

Если же нужно именно ругаться, когда таблица не создалась или когда запись не получилась, то можно использовать try .. except с отловом конкретного кода ошибки

try:
    cursor.execute(create_table_query)
except НужноеИсключение:
    print("таблица уже существует")

Какие конкретно исключения используется я навскидку не знаю, можно посмотреть в документации:
https://www.psycopg.org/docs/errors.html
или вывести опытным путем

except Exception as e:
    print(e)

1. Без профилирования результаты можешь выбросить
2. lxml - это си а не питон и вполне может быть быстрее го
3. Парсить страницу 43 секунды - неадекватно. Так что возвращаемся к пункту #1

Судя по коду на голанге вы посещаете каждую страницу, а на питоне вы просто получаете атрибут href

А в чём проблема? Просто кликните на стрелку. Если не работает средствами селениума то попробуйте кликнуть при помощи JS

driver.executeScript("arguments[0].click();", element);

Цена должна выставляться до начала работ. Либо работать по часовой ставке. А теперь остаётся только торговаться в надежде продать то, что вы сделали, подороже.
$500 - это даже небольшой ценник.

tournament = [name.text for data in body
              for name in data.find_all('span', 'events-app__header__name')]

Ваш файл не имеет ничего общего с форматом FMOD Sample Bank. Об этом и речь,

данный формат обычно используется в играх и хранит речь и музыку

Это формат для звуков, но никак не для текстовых данных. Сайт просто использовал такое же расширение файла.
Это просто кусок от https://fsbtech.com/

Ну и соответственно, у сайта свой парсер этого формата

PyQt не предполагает, что вы будете создавать QApplication несколько раз. Из-за этого, видимо, и возникает ошибка с памятью, так как где-то может быть обращение к невалидному указателю.
Мне кажется, что для ваших целей лучше подойдёт Selenium, а не PyQt.

import sys
from PyQt5.QtCore import QEventLoop, QUrl
from PyQt5.QtWidgets import QApplication
from PyQt5.QtWebEngineWidgets import QWebEngineView
from bs4 import BeautifulSoup


class Render(QWebEngineView):
    def __init__(self):
        self.html = None
        self.app = QApplication(sys.argv)
        QWebEngineView.__init__(self)
        self.loadFinished.connect(self._loadFinished)

    def _callable(self, data):
        self.html = data

    def _loadFinished(self, result):
        self.page().toHtml(self._callable)

    def get_data(self, url):
        self.html = None
        self.load(QUrl(url))
        while self.html is None:
            self.app.processEvents(QEventLoop.ExcludeUserInputEvents |
                                   QEventLoop.ExcludeSocketNotifiers |
                                   QEventLoop.WaitForMoreEvents)
        return self.html


if __name__ == '__main__':
    print("Collecting data...")
    render = Render()

    for p in range(3):
        html = render.get_data(f'https://hh.ru/search/vacancy?area=&fromSearchLine=true&st=searchVacancy&text=&page={p}')
        # get data from page
        bs4 = BeautifulSoup(html, "lxml")
        for elem in bs4.find_all("div", "vacancy-serp-item"):
            print(elem.find('a', 'bloko-link').text)