Почему не получается спарсить название фильма?

Question

xomiles @xomiles

Почему не получается спарсить название фильма?

Помогите пожалуйста спарсить название фильма с этого сайта https://kinogo.la/239-vremya-2011-smotret-onlayn_1... с помощью Beautiful Soup на Python в данных из гет запроса просто напросто нет нужного мне элемента с названием. В чём причина и как это обойти?

Вопрос задан более двух лет назад
191 просмотр

Комментировать

Подписаться 1 Простой Комментировать

Решения вопроса 1

7 комментариев

xomiles @xomiles Автор вопроса

А если мне нужно спарсить ещё и жанры, что в этом случае?

Написано более двух лет назад

Rst0 @Rst0

поступайте аналогично
повторно кидаю ссылку
view-source:https://kinogo.la/239-vremya-2011-smot...

<div class="quote">

<b>Год выпуска:</b> <a href="/tags/2011/">2011</a><br>                         /* я год выпуска  */
<b>Страна:</b> США<br>                                                                                     /* салют бро) я страна  */
<b>Жанр:</b> <a href="https://kinogo.la/film/fantastika/">Фантастика</a><br> /* привет бро) я жанр  */

<b>Продолжительность:</b> 01:49:00<br>
<b>Кинопоиск:</b> 7,3 (178518)<br>
<b>IMDB:</b> 6,7 (310679)<br>
<b>Бюджет:</b> $40 000 000<br>
<b>Премьера:</b> 30 сентября 2011<br>

<br><b>Режиссер:</b> <a href="/tags/Марк Абрахам/">Марк Абрахам</a><br>

Написано более двух лет назад

xomiles @xomiles Автор вопроса

Rst0, Я понимаю, но проблема вот в чём, в браузере в коде страницы всё окей, но если взять код страницы из GET запроса с помощью requests, то этих данных не будет

Написано более двух лет назад
Rst0 @Rst0
вариантов тут не много
у вас кодировка скрипта utf-8
а у сайта:

<meta http-equiv="Content-Type" content="text/html; charset=windows-1251" />

строка `жанр` будет выглядеть так:

<b>��:</b> <a href="https://kinogo.la/film/boeviki/">��</a>, <a href="https://kinogo.la/film/fantastika/">��</a><br>

найдется?? ))
beautifulsoup encoding windows-1252 - Поиск в Google
Написано более двух лет назад

Rst0 @Rst0

сделал тестовый curl GET запрос в PHP

$ch = curl_init();
$opt = [ 
  CURLOPT_URL=>'https://kinogo.la/239-vremya-2011-smotret-onlayn_11-01.html', 
  CURLOPT_USERAGENT=>'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36',
  CURLOPT_COOKIE=>'' ,
  CURLOPT_COOKIESESSION=>1, 
  CURLOPT_SSL_VERIFYHOST=>0, 
  CURLOPT_SSL_VERIFYPEER=>0, 
  CURLOPT_VERBOSE=>0, 
  CURLOPT_FOLLOWLOCATION=>1, 
  CURLOPT_UNRESTRICTED_AUTH=>1,
  CURLOPT_FAILONERROR=>1, 
  CURLOPT_AUTOREFERER=>1, 
  CURLOPT_TIMEOUT=>0, 
  CURLOPT_CONNECTTIMEOUT=>0,
  CURLOPT_HEADER=>1,
  CURLOPT_FOLLOWLOCATION => 1,  
  CURLOPT_RETURNTRANSFER=>1 
   ];
	curl_setopt_array($ch,$opt); 
        if( false === ($data=curl_exec($ch)))$curl_error=curl_error($ch);
        curl_close($ch);
        return $data;

ответ перекодировал win-1251 > utf-8
все находится)

результат:

<!doctype html>
<html xmlns="http://www.w3.org/1999/xhtml" xml:lang="ru" lang="ru" prefix="og: http://ogp.me/ns# video: http://ogp.me/ns/video# ya: http://webmaster.yandex.ru/vocabularies/">
<head>
<meta http-equiv="X-UA-Compatible" content="IE=edge" />
<meta http-equiv="Content-Type" content="text/html; charset=windows-1251" />
<title>KinoGo.la</title>
<meta name="description" content="KinoGo.la — единственный официальный сайт Киного! Более 30.000 
</head>
<body>

<div id="loading-layer" style="display:none">Загрузка. Пожалуйста, подождите...</div>

</script>
<div class="header_black"></div><!--header_black-->

<div class="wrapper">

<div class="contener">
<div class="contener2">
<div class="content">

<br><div class="mini" style="border-top:0px; padding-top:0px;"><form name="news_set_sort" id="news_set_sort" method="post" action="" >Сортировать по:&nbsp;<img src="/templates/Kinogo/dleimages/desc.gif" alt="" /><a href="#" onclick="dle_change_sort(\'date\',\'asc\'); return false;">дате</a> | <a href="#" onclick="dle_change_sort(\'rating\',\'desc\'); return false;">рейтингу</a> | <a href="#" onclick="dle_change_sort(\'news_read\',\'desc\'); return false;">посещаемости</a> | <a href="#" onclick="dle_change_sort(\'comm_num\',\'desc\'); return false;">комментариям</a> | <a href="#" onclick="dle_change_sort(\'title\',\'desc\'); return false;">алфавиту</a><input type="hidden" name="dlenewssortby" id="dlenewssortby" value="date" />
<input type="hidden" name="dledirection" id="dledirection" value="DESC" />
<input type="hidden" name="set_new_sort" id="set_new_sort" value="dle_sort_main" />
<input type="hidden" name="set_direction_sort" id="set_direction_sort" value="dle_direction_main" />
<script type="text/javascript" language="javascript">
<!-- begin

function dle_change_sort(sort, direction){

  document.cookie = \'sorted=1;expires=0;path=/\';
  var frm = document.getElementById(\'news_set_sort\');

  frm.dlenewssortby.value=sort;
  frm.dledirection.value=direction;

  frm.submit();
  return false;
};

// end -->
</script></form></div><br><div id=\'dle-content\'><div class="shortstory shid42133" data-id="42133" data-overlay="false">
<div class="shortstorytitle">
<div style="width: 160px;float: right;">
    <span class="izbrannoe"> <span class="favoriticon"><a id="fav-id-42133" href="https://kinogo.la/index.php?do=favorites&amp;doaction=add&amp;id=42133"><img width="23" height="37" src="https://kinogo.la/templates/Kinogo/dleimages/plus_fav.gif" onclick="doFavorites(\'42133\', \'plus\'); return false;" title="Добавить в свои закладки на сайте" style="vertical-align: middle;border: none;" alt="" /></a></span> </span>
   <span class="podrobnosti_right"><div id=\'ratig-layer-42133\'><div class="rating">
		<ul itemprop="aggregateRating" itemscope itemtype="http://schema.org/AggregateRating" class="unit-rating">
		<li itemprop="ratingValue" class="current-rating" style="width:68px;">68</li>
		<li itemprop="ratingCount">3</li>
		<li itemprop="bestRating">100</li>
		<ul itemprop="itemReviewed" content="Movie" itemscope itemtype="https://schema.org/Movie">
			<li itemprop="name" content=""></li>
			<li itemprop="image" content=""></li>
			<li itemprop="director" content=""></li>
			<li itemprop="dateCreated" content=""></li>
			
			
		</ul>
		<li><a href="#" title="Плохо" class="r1-unit" onclick="doRate(\'1\', \'42133\'); return false;">1</a></li>
		<li><a href="#" title="Приемлемо" class="r2-unit" onclick="doRate(\'2\', \'42133\'); return false;">2</a></li>
		<li><a href="#" title="Средне" class="r3-unit" onclick="doRate(\'3\', \'42133\'); return false;">3</a></li>
		<li><a href="#" title="Хорошо" class="r4-unit" onclick="doRate(\'4\', \'42133\'); return false;">4</a></li>
		<li><a href="#" title="Отлично" class="r5-unit" onclick="doRate(\'5\', \'42133\'); return false;">5</a></li>
		</ul>
</div></div></span>
   
</div>

<h2  class="zagolovki"><a aria-label="Спайдерхед (2022)" href="https://kinogo.la/42133-spiderhead_2022.html">Спайдерхед (2022) </a></h2> 
</div><!--shortstorytitle-->
<div class="shortimg"><div id="42133" style="display:inline;"><!--TBegin:[xfvalue_image]|left--><a aria-label="Спайдерхед (2022)" href="https://kinogo.la/42133-spiderhead_2022.html">


<div class="overlaytumb">
<img alt="Спайдерхед (2022)" src="/uploads/cache/9/d/5/0/5/9/9/e/c/1655682156-1056294621-spayderhed-KINOGO_BY-200x300.jpg"  width="200" height="300" style="float:left;"></a>
</div>
<!--TEnd--><div id="news-id-42133" style="display:inline;">В ближайшем будущем осужденным предоставляется возможность стать добровольцами для испытания новых медицинских препаратов, чтобы смягчить режим или сократить срок. Ультрасовременной исправительной колонией управляет ученый Стив Абнести, который проводит испытание психоделиков. Когда один заключенный оказывается подопытным нового препарата, способного вызывать чувство любви, он начинает подвергать сомнению реальность своих эмоций и решает во что бы то ни стало докопаться до истины.</div><br><br>


<b>Год выпуска:</b> <a href="/tags/2022/">2022</a><br> 
<b>Страна:</b> США<br>
<b>Жанр:</b> <a href="https://kinogo.la/film/boeviki/">Боевик</a>, <a href="https://kinogo.la/film/fantastika/">Фантастика</a>, <a href="https://kinogo.la/film/kriminal/">Криминал</a>, <a href="https://kinogo.la/film/dramy/">Драма</a>, <a href="https://kinogo.la/film/trillery/">Триллер</a><br>
<b>Качество:</b> WEB-DLRip <br>
<b>Перевод:</b> Профессиональный <br>
<b>Продолжительность:</b> 106 мин. / 01:46<br>
<b>Премьера:</b> 17 июня 2022<br>

</div></div>
<span style="float: right;margin-top: -20px;display: inline-block;line-height: 20px;/* font-size: 14px; */padding: 0 10px;border-radius: 2px;background-color: #848480;color: #fff;">ADS</span>
</div>



 .............  и т.д.
</body>
</html>'

Написано более двух лет назад

Rst0 @Rst0

Beautiful Soup - Кодировки

Написано более двух лет назад

Rst0 @Rst0

да, чуть не забыл,
запрос должен содержать такие заголовки, чтоб 100%
получить страницу как в браузере

':authority: kinogo.la',
':path: /239-vremya-2011-smotret-onlayn_11-01.html',
':scheme: https',
'accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9',
'accept-language: ru-RU,ru;q=0.9,en-US;q=0.8,en;q=0.7',
'cache-control: no-cache',
'pragma: no-cache',
'sec-ch-ua: " Not A;Brand";v="99", "Chromium";v="102", "Google Chrome";v="102"',
'sec-ch-ua-mobile: ?0',
'sec-ch-ua-platform: "Windows"',
'sec-fetch-dest: document',
'sec-fetch-mode: navigate',
'sec-fetch-site: cross-site',
'sec-fetch-user: ?1',
'upgrade-insecure-requests: 1',

Написано более двух лет назад

Пригласить эксперта

Ваш ответ на вопрос

Войдите, чтобы написать ответ

Похожие вопросы

Python

+2 ещё

Простой
ModuleNotFoundError: No module named 'mnemonic ' Что делать?
- 1 подписчик
- 8 минут назад
- 2 просмотра
0

ответов
Python

+1 ещё

Средний
Как добавить номера с +8888 если некоторые не читаются?
- 1 подписчик
- 7 часов назад
- 44 просмотра
0

ответов
Python

+1 ещё

Простой
Как исправить ошибку имени пользователя в консоли вс код?
- 1 подписчик
- 11 часов назад
- 64 просмотра
2

ответа
Python

+1 ещё

Средний
Определить координаты совпадающих фигур?
- 1 подписчик
- 19 часов назад
- 64 просмотра
2

ответа
Python

Простой
Как проверить доступность списка IP:Port из txt файла?
- 1 подписчик
- 20 часов назад
- 71 просмотр
2

ответа
Python

+1 ещё

Средний
Как найти паттерн на картинке с OpenCV?
- 1 подписчик
- вчера
- 63 просмотра
2

ответа
Python

+2 ещё

Средний
Сохранение модели tensorflow?
- 1 подписчик
- вчера
- 2582 просмотра
1

ответ
Python

+1 ещё

Простой
Запускаю фаил и в терминале выдает ошибку (описал её ниже под кодом). Как можно решить эту ошибку и как можно доработать (по возможности) это код?
- 1 подписчик
- вчера
- 92 просмотра
1

ответ
Python

Простой
Не могу получить 2 ой график как исправить?
- 1 подписчик
- вчера
- 79 просмотров
0

ответов
Python

+2 ещё

Простой
Книги для изучения нейронных сетей на Python?
- 1 подписчик
- вчера
- 95 просмотров
1

ответ
Показать ещё Загружается…

Senior Python Developer (Кипр)

Wanted. • Лимассол

До 6 000 €

Python разработчик (офис)

SpectrumData • Екатеринбург

от 150 000 до 250 000 ₽

Python разработчик

Гринатом • Москва

от 150 000 ₽

Сверстать десктоп версию сайта в tailwind

22 нояб. 2024, в 06:06

1500 руб./в час

Создать TG бота

22 нояб. 2024, в 06:04

1 руб./за проект

Тестирование модуля ElasticSearch через ftp

22 нояб. 2024, в 03:54

1500 руб./за проект

Answer 1 · 2022-06-20 02:48:50

там в title название
view-source:https://kinogo.la/239-vremya-2011-smot...

<head>
<meta http-equiv="X-UA-Compatible" content="IE=edge" />
<meta http-equiv="Content-Type" content="text/html; charset=windows-1251" />
<title>Время (2011)</title>

Почему не получается спарсить название фильма?

Войдите, чтобы написать ответ

Минуточку внимания

Войдите на сайт