Как парсить яндекс картинки?

Question

[Mishele123]

Есть код:

def downloadImage(text: str, proxy: []) -> set:
    ua = UserAgent()
    arr = set()
    max_count = 1100  # Минимально количество изображений для загрузки
    main_url = "https://yandex.ru/images/search?text=" + text + "&p="
    for a in range(1, 100 + 1): 
        print(main_url + str(a))
        result = requests.get(main_url + str(a), headers=
                            {
                                "User-Agent" : str(ua.random)
                            },
                            proxies={
                                "http" : "http://" + proxy[a - 1]
                            })
            
        soup = BeautifulSoup(result.content, "lxml")
        links = soup.findAll("img", class_ = "serp-item__thumb justifier__thumb")
        print(links)
        for link in links:
            link = link.get("src")
            print(link)
            arr.add(link)

        if len(arr) > max_count:
            break

    return arr

Использую http прокси (бесплатные). Проблема в том, что могу спарсить только 3 страницы, потом минут 5 - 10 не парсится НИЧЕГО. (Вместо ссылок пустые списки) Что делать в данной ситуации?

Comments

[Николай Медведков]

добавь задержку между запросами, может поможет

Answer 1

[Dimonchik]

socks прокси
незаезженные

лучше покупные конечно

Comments

[Mishele123]

не, бестолку. Скачивает только 3 страницы и вылазиет капча. Эх, смешная лаба по программированию :)

[AUser0]

Mishele123, решить капчу. Разве не очевидно?

[Mishele123]

AUser0, к сожалению от Яндекса капча очень "смешная"

[AUser0]

Mishele123, так всего-то делов, сохраняешь на диск, глазками решаешь, передаёшь скрипту строку. Фсио! Ну и конечно сам скрипт должен капчу скачивать и решение отправлять, выданные куки - сохранять и использовать.

[Николай Медведков]

а я капчу отправлял на rucaptcha, там челики за меня ее решали