Почему парсер сайта kinopoisk выдаёт пустой список?

Question

[N T]

код, должен спарсировать названия 250 лучших картин по версии сайта kinopoisk.

import requests
from bs4 import BeautifulSoup
import re
import os
from urllib.request import urlopen
import json
from urllib.parse import unquote
import asposecells
import jpype
from openpyxl import Workbook
import pandas as pd
import mysql.connector
 
import warnings
warnings.filterwarnings("ignore")
 
url = 'https://www.kinopoisk.ru/lists/movies/top250/'
response = requests.get(url, verify=False)
soup = BeautifulSoup(response.text, 'lxml')
movies = []
soup = BeautifulSoup(response.content, 'html.parser')
for movie in soup.select(".styles_root__ti07r"):
    name = movie.select_one(".base-movie-main-info_mainInfo__ZL_u3:not(:last-child)").text
    movies.append({
        'Название': name
    })
with open('out.json', 'w', encoding='utf-8') as f:
    json.dump(movies, f, indent=4, ensure_ascii=False)
    
df = pd.read_json('./out.json')

Но вместо этого он выводит пустой список
[]
В чём причина?
Заранее благодарю за помощь.

Comments

[Модератор]

Не надо ставить как можно больше тэгов. Лучше оставить один, но конкретный, с которым проблема.
См.п.3.1 Регламента. Также обратите внимание на п.3.4

Answer 1

[Сергей Соловьев]

В чём причина?

Внутри каждого блока .styles_root__ti07r только один элемент .base-movie-main-info_mainInfo__ZL_u3, а ты указал не брать последний :not(:last-child). Значит 1 - 1 = 0

На будущее: если видишь странные символы, по типу _ZL_u3 или ti07r, то не полгайся на них - это автосгенерированные классы и в будущем их названия изменятся и этот код сломается

Comments

[N T]

Давно заметил, что классы в Kinopoiske изменяют название. Много кто на форуме писал коды парсинга с сайта - все они работали 1-2 года, после чего становились бессмысленными.

[N T]

Вот бы был код, который бы работал, даже когда менялись бы названия классов на сайте kinopoisk. А то создают однолетки.