Почему не получается спарсить название фильма?

Question

xomiles @xomiles

Почему не получается спарсить название фильма?

Помогите пожалуйста спарсить название фильма с этого сайта https://kinogo.la/239-vremya-2011-smotret-onlayn_1... с помощью Beautiful Soup на Python в данных из гет запроса просто напросто нет нужного мне элемента с названием. В чём причина и как это обойти?

Вопрос задан более двух лет назад
191 просмотр

Комментировать

Подписаться 1 Простой Комментировать

Решения вопроса 1

7 комментариев

xomiles @xomiles Автор вопроса

А если мне нужно спарсить ещё и жанры, что в этом случае?

Написано более двух лет назад

Rst0 @Rst0

поступайте аналогично
повторно кидаю ссылку
view-source:https://kinogo.la/239-vremya-2011-smot...

<div class="quote">

<b>Год выпуска:</b> <a href="/tags/2011/">2011</a><br>                         /* я год выпуска  */
<b>Страна:</b> США<br>                                                                                     /* салют бро) я страна  */
<b>Жанр:</b> <a href="https://kinogo.la/film/fantastika/">Фантастика</a><br> /* привет бро) я жанр  */

<b>Продолжительность:</b> 01:49:00<br>
<b>Кинопоиск:</b> 7,3 (178518)<br>
<b>IMDB:</b> 6,7 (310679)<br>
<b>Бюджет:</b> $40 000 000<br>
<b>Премьера:</b> 30 сентября 2011<br>

<br><b>Режиссер:</b> <a href="/tags/Марк Абрахам/">Марк Абрахам</a><br>

Написано более двух лет назад

xomiles @xomiles Автор вопроса

Rst0, Я понимаю, но проблема вот в чём, в браузере в коде страницы всё окей, но если взять код страницы из GET запроса с помощью requests, то этих данных не будет

Написано более двух лет назад
Rst0 @Rst0
вариантов тут не много
у вас кодировка скрипта utf-8
а у сайта:

<meta http-equiv="Content-Type" content="text/html; charset=windows-1251" />

строка `жанр` будет выглядеть так:

<b>��:</b> <a href="https://kinogo.la/film/boeviki/">��</a>, <a href="https://kinogo.la/film/fantastika/">��</a><br>

найдется?? ))
beautifulsoup encoding windows-1252 - Поиск в Google
Написано более двух лет назад

Rst0 @Rst0

сделал тестовый curl GET запрос в PHP

$ch = curl_init();
$opt = [ 
  CURLOPT_URL=>'https://kinogo.la/239-vremya-2011-smotret-onlayn_11-01.html', 
  CURLOPT_USERAGENT=>'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36',
  CURLOPT_COOKIE=>'' ,
  CURLOPT_COOKIESESSION=>1, 
  CURLOPT_SSL_VERIFYHOST=>0, 
  CURLOPT_SSL_VERIFYPEER=>0, 
  CURLOPT_VERBOSE=>0, 
  CURLOPT_FOLLOWLOCATION=>1, 
  CURLOPT_UNRESTRICTED_AUTH=>1,
  CURLOPT_FAILONERROR=>1, 
  CURLOPT_AUTOREFERER=>1, 
  CURLOPT_TIMEOUT=>0, 
  CURLOPT_CONNECTTIMEOUT=>0,
  CURLOPT_HEADER=>1,
  CURLOPT_FOLLOWLOCATION => 1,  
  CURLOPT_RETURNTRANSFER=>1 
   ];
	curl_setopt_array($ch,$opt); 
        if( false === ($data=curl_exec($ch)))$curl_error=curl_error($ch);
        curl_close($ch);
        return $data;

ответ перекодировал win-1251 > utf-8
все находится)

результат:

<!doctype html>
<html xmlns="http://www.w3.org/1999/xhtml" xml:lang="ru" lang="ru" prefix="og: http://ogp.me/ns# video: http://ogp.me/ns/video# ya: http://webmaster.yandex.ru/vocabularies/">
<head>
<meta http-equiv="X-UA-Compatible" content="IE=edge" />
<meta http-equiv="Content-Type" content="text/html; charset=windows-1251" />
<title>KinoGo.la</title>
<meta name="description" content="KinoGo.la — единственный официальный сайт Киного! Более 30.000 
</head>
<body>

<div id="loading-layer" style="display:none">Загрузка. Пожалуйста, подождите...</div>

</script>
<div class="header_black"></div><!--header_black-->

<div class="wrapper">

<div class="contener">
<div class="contener2">
<div class="content">

<br><div class="mini" style="border-top:0px; padding-top:0px;"><form name="news_set_sort" id="news_set_sort" method="post" action="" >Сортировать по:&nbsp;<img src="/templates/Kinogo/dleimages/desc.gif" alt="" /><a href="#" onclick="dle_change_sort(\'date\',\'asc\'); return false;">дате</a> | <a href="#" onclick="dle_change_sort(\'rating\',\'desc\'); return false;">рейтингу</a> | <a href="#" onclick="dle_change_sort(\'news_read\',\'desc\'); return false;">посещаемости</a> | <a href="#" onclick="dle_change_sort(\'comm_num\',\'desc\'); return false;">комментариям</a> | <a href="#" onclick="dle_change_sort(\'title\',\'desc\'); return false;">алфавиту</a><input type="hidden" name="dlenewssortby" id="dlenewssortby" value="date" />
<input type="hidden" name="dledirection" id="dledirection" value="DESC" />
<input type="hidden" name="set_new_sort" id="set_new_sort" value="dle_sort_main" />
<input type="hidden" name="set_direction_sort" id="set_direction_sort" value="dle_direction_main" />
<script type="text/javascript" language="javascript">
<!-- begin

function dle_change_sort(sort, direction){

  document.cookie = \'sorted=1;expires=0;path=/\';
  var frm = document.getElementById(\'news_set_sort\');

  frm.dlenewssortby.value=sort;
  frm.dledirection.value=direction;

  frm.submit();
  return false;
};

// end -->
</script></form></div><br><div id=\'dle-content\'><div class="shortstory shid42133" data-id="42133" data-overlay="false">
<div class="shortstorytitle">
<div style="width: 160px;float: right;">
    <span class="izbrannoe"> <span class="favoriticon"><a id="fav-id-42133" href="https://kinogo.la/index.php?do=favorites&amp;doaction=add&amp;id=42133"><img width="23" height="37" src="https://kinogo.la/templates/Kinogo/dleimages/plus_fav.gif" onclick="doFavorites(\'42133\', \'plus\'); return false;" title="Добавить в свои закладки на сайте" style="vertical-align: middle;border: none;" alt="" /></a></span> </span>
   <span class="podrobnosti_right"><div id=\'ratig-layer-42133\'><div class="rating">
		<ul itemprop="aggregateRating" itemscope itemtype="http://schema.org/AggregateRating" class="unit-rating">
		<li itemprop="ratingValue" class="current-rating" style="width:68px;">68</li>
		<li itemprop="ratingCount">3</li>
		<li itemprop="bestRating">100</li>
		<ul itemprop="itemReviewed" content="Movie" itemscope itemtype="https://schema.org/Movie">
			<li itemprop="name" content=""></li>
			<li itemprop="image" content=""></li>
			<li itemprop="director" content=""></li>
			<li itemprop="dateCreated" content=""></li>
			
			
		</ul>
		<li><a href="#" title="Плохо" class="r1-unit" onclick="doRate(\'1\', \'42133\'); return false;">1</a></li>
		<li><a href="#" title="Приемлемо" class="r2-unit" onclick="doRate(\'2\', \'42133\'); return false;">2</a></li>
		<li><a href="#" title="Средне" class="r3-unit" onclick="doRate(\'3\', \'42133\'); return false;">3</a></li>
		<li><a href="#" title="Хорошо" class="r4-unit" onclick="doRate(\'4\', \'42133\'); return false;">4</a></li>
		<li><a href="#" title="Отлично" class="r5-unit" onclick="doRate(\'5\', \'42133\'); return false;">5</a></li>
		</ul>
</div></div></span>
   
</div>

<h2  class="zagolovki"><a aria-label="Спайдерхед (2022)" href="https://kinogo.la/42133-spiderhead_2022.html">Спайдерхед (2022) </a></h2> 
</div><!--shortstorytitle-->
<div class="shortimg"><div id="42133" style="display:inline;"><!--TBegin:[xfvalue_image]|left--><a aria-label="Спайдерхед (2022)" href="https://kinogo.la/42133-spiderhead_2022.html">


<div class="overlaytumb">
<img alt="Спайдерхед (2022)" src="/uploads/cache/9/d/5/0/5/9/9/e/c/1655682156-1056294621-spayderhed-KINOGO_BY-200x300.jpg"  width="200" height="300" style="float:left;"></a>
</div>
<!--TEnd--><div id="news-id-42133" style="display:inline;">В ближайшем будущем осужденным предоставляется возможность стать добровольцами для испытания новых медицинских препаратов, чтобы смягчить режим или сократить срок. Ультрасовременной исправительной колонией управляет ученый Стив Абнести, который проводит испытание психоделиков. Когда один заключенный оказывается подопытным нового препарата, способного вызывать чувство любви, он начинает подвергать сомнению реальность своих эмоций и решает во что бы то ни стало докопаться до истины.</div><br><br>


<b>Год выпуска:</b> <a href="/tags/2022/">2022</a><br> 
<b>Страна:</b> США<br>
<b>Жанр:</b> <a href="https://kinogo.la/film/boeviki/">Боевик</a>, <a href="https://kinogo.la/film/fantastika/">Фантастика</a>, <a href="https://kinogo.la/film/kriminal/">Криминал</a>, <a href="https://kinogo.la/film/dramy/">Драма</a>, <a href="https://kinogo.la/film/trillery/">Триллер</a><br>
<b>Качество:</b> WEB-DLRip <br>
<b>Перевод:</b> Профессиональный <br>
<b>Продолжительность:</b> 106 мин. / 01:46<br>
<b>Премьера:</b> 17 июня 2022<br>

</div></div>
<span style="float: right;margin-top: -20px;display: inline-block;line-height: 20px;/* font-size: 14px; */padding: 0 10px;border-radius: 2px;background-color: #848480;color: #fff;">ADS</span>
</div>



 .............  и т.д.
</body>
</html>'

Написано более двух лет назад

Rst0 @Rst0

Beautiful Soup - Кодировки

Написано более двух лет назад

Rst0 @Rst0

да, чуть не забыл,
запрос должен содержать такие заголовки, чтоб 100%
получить страницу как в браузере

':authority: kinogo.la',
':path: /239-vremya-2011-smotret-onlayn_11-01.html',
':scheme: https',
'accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9',
'accept-language: ru-RU,ru;q=0.9,en-US;q=0.8,en;q=0.7',
'cache-control: no-cache',
'pragma: no-cache',
'sec-ch-ua: " Not A;Brand";v="99", "Chromium";v="102", "Google Chrome";v="102"',
'sec-ch-ua-mobile: ?0',
'sec-ch-ua-platform: "Windows"',
'sec-fetch-dest: document',
'sec-fetch-mode: navigate',
'sec-fetch-site: cross-site',
'sec-fetch-user: ?1',
'upgrade-insecure-requests: 1',

Написано более двух лет назад

Пригласить эксперта

Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации

Похожие вопросы

Python

+1 ещё

Простой
VitHybrid не может добавить позиционные эмбеддинги. Что делать?
- 1 подписчик
- 16 часов назад
- 24 просмотра
0

ответов
Python

Простой
Как сделать, чтобы не было возможности вызвать метод через инстанс?
- 1 подписчик
- 18 часов назад
- 106 просмотров
1

ответ
Python

Простой
Как проверить в списке чисел наличие числа, содержащего цифру 3?
- 1 подписчик
- вчера
- 159 просмотров
3

ответа
WordPress

+1 ещё

Средний
Парсинг с сайта на wordpress?
- 1 подписчик
- 05 нояб.
- 79 просмотров
0

ответов
Python

Простой
Почему пайтон делит не верно?
- 1 подписчик
- 05 нояб.
- 223 просмотра
2

ответа
Python

+2 ещё

Простой
Как сделать правильное сравнение айди юзера из БД и переменной?
- 1 подписчик
- 05 нояб.
- 92 просмотра
1

ответ
Python

+2 ещё

Простой
Как выйти из бесконечной работы браузера при парсинге через Selenium?
- 1 подписчик
- 05 нояб.
- 71 просмотр
1

ответ
Python

+1 ещё

Простой
Нажиимает коментировать но не отправляет коментарий?
- 1 подписчик
- 04 нояб.
- 95 просмотров
1

ответ
Python

Средний
Что за способ представления float через 4 byte и int?
- 1 подписчик
- 04 нояб.
- 101 просмотр
2

ответа
Python

+2 ещё

Простой
Помощь с python vk_api, как сделать что бы бот отвечал в чате?
- 1 подписчик
- 04 нояб.
- 77 просмотров
0

ответов
Показать ещё Загружается…

Python разработчик (офис)

SpectrumData • Екатеринбург

от 150 000 до 250 000 ₽

Senior Python Developer (Кипр)

Wanted. • Лимассол

До 6 000 €

Python разработчик

Гринатом • Москва

от 150 000 ₽

Продвижение сервиса, поиск клиентов

08 нояб. 2024, в 06:03

50000 руб./за проект

Починить компас на сайте

08 нояб. 2024, в 02:41

500 руб./за проект

Настроить кастомные события Яндекс метрики для промо

08 нояб. 2024, в 02:26

10000 руб./за проект

Answer 1 · 2022-06-20 02:48:50

там в title название
view-source:https://kinogo.la/239-vremya-2011-smot...

<head>
<meta http-equiv="X-UA-Compatible" content="IE=edge" />
<meta http-equiv="Content-Type" content="text/html; charset=windows-1251" />
<title>Время (2011)</title>

Почему не получается спарсить название фильма?

Войдите, чтобы написать ответ

Минуточку внимания

Войдите на сайт