Почему не получается спарсить название фильма?

Question

xomiles @xomiles

Почему не получается спарсить название фильма?

Помогите пожалуйста спарсить название фильма с этого сайта https://kinogo.la/239-vremya-2011-smotret-onlayn_1... с помощью Beautiful Soup на Python в данных из гет запроса просто напросто нет нужного мне элемента с названием. В чём причина и как это обойти?

Вопрос задан более года назад
186 просмотров

Комментировать

Подписаться 1 Простой Комментировать

Решения вопроса 1

7 комментариев

xomiles @xomiles Автор вопроса

А если мне нужно спарсить ещё и жанры, что в этом случае?

Написано более года назад

Rst0 @Rst0

поступайте аналогично
повторно кидаю ссылку
view-source:https://kinogo.la/239-vremya-2011-smot...

<div class="quote">

<b>Год выпуска:</b> <a href="/tags/2011/">2011</a><br>                         /* я год выпуска  */
<b>Страна:</b> США<br>                                                                                     /* салют бро) я страна  */
<b>Жанр:</b> <a href="https://kinogo.la/film/fantastika/">Фантастика</a><br> /* привет бро) я жанр  */

<b>Продолжительность:</b> 01:49:00<br>
<b>Кинопоиск:</b> 7,3 (178518)<br>
<b>IMDB:</b> 6,7 (310679)<br>
<b>Бюджет:</b> $40 000 000<br>
<b>Премьера:</b> 30 сентября 2011<br>

<br><b>Режиссер:</b> <a href="/tags/Марк Абрахам/">Марк Абрахам</a><br>

Написано более года назад

xomiles @xomiles Автор вопроса

Rst0, Я понимаю, но проблема вот в чём, в браузере в коде страницы всё окей, но если взять код страницы из GET запроса с помощью requests, то этих данных не будет

Написано более года назад
Rst0 @Rst0
вариантов тут не много
у вас кодировка скрипта utf-8
а у сайта:

<meta http-equiv="Content-Type" content="text/html; charset=windows-1251" />

строка `жанр` будет выглядеть так:

<b>��:</b> <a href="https://kinogo.la/film/boeviki/">��</a>, <a href="https://kinogo.la/film/fantastika/">��</a><br>

найдется?? ))
beautifulsoup encoding windows-1252 - Поиск в Google
Написано более года назад

Rst0 @Rst0

сделал тестовый curl GET запрос в PHP

$ch = curl_init();
$opt = [ 
  CURLOPT_URL=>'https://kinogo.la/239-vremya-2011-smotret-onlayn_11-01.html', 
  CURLOPT_USERAGENT=>'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36',
  CURLOPT_COOKIE=>'' ,
  CURLOPT_COOKIESESSION=>1, 
  CURLOPT_SSL_VERIFYHOST=>0, 
  CURLOPT_SSL_VERIFYPEER=>0, 
  CURLOPT_VERBOSE=>0, 
  CURLOPT_FOLLOWLOCATION=>1, 
  CURLOPT_UNRESTRICTED_AUTH=>1,
  CURLOPT_FAILONERROR=>1, 
  CURLOPT_AUTOREFERER=>1, 
  CURLOPT_TIMEOUT=>0, 
  CURLOPT_CONNECTTIMEOUT=>0,
  CURLOPT_HEADER=>1,
  CURLOPT_FOLLOWLOCATION => 1,  
  CURLOPT_RETURNTRANSFER=>1 
   ];
	curl_setopt_array($ch,$opt); 
        if( false === ($data=curl_exec($ch)))$curl_error=curl_error($ch);
        curl_close($ch);
        return $data;

ответ перекодировал win-1251 > utf-8
все находится)

результат:

<!doctype html>
<html xmlns="http://www.w3.org/1999/xhtml" xml:lang="ru" lang="ru" prefix="og: http://ogp.me/ns# video: http://ogp.me/ns/video# ya: http://webmaster.yandex.ru/vocabularies/">
<head>
<meta http-equiv="X-UA-Compatible" content="IE=edge" />
<meta http-equiv="Content-Type" content="text/html; charset=windows-1251" />
<title>KinoGo.la</title>
<meta name="description" content="KinoGo.la — единственный официальный сайт Киного! Более 30.000 
</head>
<body>

<div id="loading-layer" style="display:none">Загрузка. Пожалуйста, подождите...</div>

</script>
<div class="header_black"></div><!--header_black-->

<div class="wrapper">

<div class="contener">
<div class="contener2">
<div class="content">

<br><div class="mini" style="border-top:0px; padding-top:0px;"><form name="news_set_sort" id="news_set_sort" method="post" action="" >Сортировать по:&nbsp;<img src="/templates/Kinogo/dleimages/desc.gif" alt="" /><a href="#" onclick="dle_change_sort(\'date\',\'asc\'); return false;">дате</a> | <a href="#" onclick="dle_change_sort(\'rating\',\'desc\'); return false;">рейтингу</a> | <a href="#" onclick="dle_change_sort(\'news_read\',\'desc\'); return false;">посещаемости</a> | <a href="#" onclick="dle_change_sort(\'comm_num\',\'desc\'); return false;">комментариям</a> | <a href="#" onclick="dle_change_sort(\'title\',\'desc\'); return false;">алфавиту</a><input type="hidden" name="dlenewssortby" id="dlenewssortby" value="date" />
<input type="hidden" name="dledirection" id="dledirection" value="DESC" />
<input type="hidden" name="set_new_sort" id="set_new_sort" value="dle_sort_main" />
<input type="hidden" name="set_direction_sort" id="set_direction_sort" value="dle_direction_main" />
<script type="text/javascript" language="javascript">
<!-- begin

function dle_change_sort(sort, direction){

  document.cookie = \'sorted=1;expires=0;path=/\';
  var frm = document.getElementById(\'news_set_sort\');

  frm.dlenewssortby.value=sort;
  frm.dledirection.value=direction;

  frm.submit();
  return false;
};

// end -->
</script></form></div><br><div id=\'dle-content\'><div class="shortstory shid42133" data-id="42133" data-overlay="false">
<div class="shortstorytitle">
<div style="width: 160px;float: right;">
    <span class="izbrannoe"> <span class="favoriticon"><a id="fav-id-42133" href="https://kinogo.la/index.php?do=favorites&amp;doaction=add&amp;id=42133"><img width="23" height="37" src="https://kinogo.la/templates/Kinogo/dleimages/plus_fav.gif" onclick="doFavorites(\'42133\', \'plus\'); return false;" title="Добавить в свои закладки на сайте" style="vertical-align: middle;border: none;" alt="" /></a></span> </span>
   <span class="podrobnosti_right"><div id=\'ratig-layer-42133\'><div class="rating">
		<ul itemprop="aggregateRating" itemscope itemtype="http://schema.org/AggregateRating" class="unit-rating">
		<li itemprop="ratingValue" class="current-rating" style="width:68px;">68</li>
		<li itemprop="ratingCount">3</li>
		<li itemprop="bestRating">100</li>
		<ul itemprop="itemReviewed" content="Movie" itemscope itemtype="https://schema.org/Movie">
			<li itemprop="name" content=""></li>
			<li itemprop="image" content=""></li>
			<li itemprop="director" content=""></li>
			<li itemprop="dateCreated" content=""></li>
			
			
		</ul>
		<li><a href="#" title="Плохо" class="r1-unit" onclick="doRate(\'1\', \'42133\'); return false;">1</a></li>
		<li><a href="#" title="Приемлемо" class="r2-unit" onclick="doRate(\'2\', \'42133\'); return false;">2</a></li>
		<li><a href="#" title="Средне" class="r3-unit" onclick="doRate(\'3\', \'42133\'); return false;">3</a></li>
		<li><a href="#" title="Хорошо" class="r4-unit" onclick="doRate(\'4\', \'42133\'); return false;">4</a></li>
		<li><a href="#" title="Отлично" class="r5-unit" onclick="doRate(\'5\', \'42133\'); return false;">5</a></li>
		</ul>
</div></div></span>
   
</div>

<h2  class="zagolovki"><a aria-label="Спайдерхед (2022)" href="https://kinogo.la/42133-spiderhead_2022.html">Спайдерхед (2022) </a></h2> 
</div><!--shortstorytitle-->
<div class="shortimg"><div id="42133" style="display:inline;"><!--TBegin:[xfvalue_image]|left--><a aria-label="Спайдерхед (2022)" href="https://kinogo.la/42133-spiderhead_2022.html">


<div class="overlaytumb">
<img alt="Спайдерхед (2022)" src="/uploads/cache/9/d/5/0/5/9/9/e/c/1655682156-1056294621-spayderhed-KINOGO_BY-200x300.jpg"  width="200" height="300" style="float:left;"></a>
</div>
<!--TEnd--><div id="news-id-42133" style="display:inline;">В ближайшем будущем осужденным предоставляется возможность стать добровольцами для испытания новых медицинских препаратов, чтобы смягчить режим или сократить срок. Ультрасовременной исправительной колонией управляет ученый Стив Абнести, который проводит испытание психоделиков. Когда один заключенный оказывается подопытным нового препарата, способного вызывать чувство любви, он начинает подвергать сомнению реальность своих эмоций и решает во что бы то ни стало докопаться до истины.</div><br><br>


<b>Год выпуска:</b> <a href="/tags/2022/">2022</a><br> 
<b>Страна:</b> США<br>
<b>Жанр:</b> <a href="https://kinogo.la/film/boeviki/">Боевик</a>, <a href="https://kinogo.la/film/fantastika/">Фантастика</a>, <a href="https://kinogo.la/film/kriminal/">Криминал</a>, <a href="https://kinogo.la/film/dramy/">Драма</a>, <a href="https://kinogo.la/film/trillery/">Триллер</a><br>
<b>Качество:</b> WEB-DLRip <br>
<b>Перевод:</b> Профессиональный <br>
<b>Продолжительность:</b> 106 мин. / 01:46<br>
<b>Премьера:</b> 17 июня 2022<br>

</div></div>
<span style="float: right;margin-top: -20px;display: inline-block;line-height: 20px;/* font-size: 14px; */padding: 0 10px;border-radius: 2px;background-color: #848480;color: #fff;">ADS</span>
</div>



 .............  и т.д.
</body>
</html>'

Написано более года назад

Rst0 @Rst0

Beautiful Soup - Кодировки

Написано более года назад

Rst0 @Rst0

да, чуть не забыл,
запрос должен содержать такие заголовки, чтоб 100%
получить страницу как в браузере

':authority: kinogo.la',
':path: /239-vremya-2011-smotret-onlayn_11-01.html',
':scheme: https',
'accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9',
'accept-language: ru-RU,ru;q=0.9,en-US;q=0.8,en;q=0.7',
'cache-control: no-cache',
'pragma: no-cache',
'sec-ch-ua: " Not A;Brand";v="99", "Chromium";v="102", "Google Chrome";v="102"',
'sec-ch-ua-mobile: ?0',
'sec-ch-ua-platform: "Windows"',
'sec-fetch-dest: document',
'sec-fetch-mode: navigate',
'sec-fetch-site: cross-site',
'sec-fetch-user: ?1',
'upgrade-insecure-requests: 1',

Написано более года назад

Пригласить эксперта

Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации

Похожие вопросы

Python

Простой
Пишу Todolist появилась ошибка, как исправить?
- 1 подписчик
- 17 минут назад
- 13 просмотров
0

ответов
Python

+1 ещё

Простой
Как решить проблему с терминалом PyCharm?
- 1 подписчик
- 57 минут назад
- 13 просмотров
0

ответов
Python

+2 ещё

Средний
Как пофиксить ошибку с сертификатом при работе с selenium?
- 1 подписчик
- 2 часа назад
- 8 просмотров
0

ответов
Python

+2 ещё

Средний
Возможно ли сделать так, чтобы Telegram GPT-Yandex.Cloud Бот отвечал не только на текстовые сообщения, но и на картинки? И если да, то как?
- 1 подписчик
- 2 часа назад
- 30 просмотров
2

ответа
Python

Средний
Как выполнить авторизацию MS CHAP 2?
- 1 подписчик
- 4 часа назад
- 22 просмотра
0

ответов
WordPress

+1 ещё

Средний
Парсинг сайта на wordpress?
- 1 подписчик
- 7 часов назад
- 54 просмотра
1

ответ
Python

+1 ещё

Простой
Как вычислить количество записей?
- 1 подписчик
- 8 часов назад
- 64 просмотра
2

ответа
Python

+1 ещё

Простой
Почему при использование webdriverIE все равно открывается EDge?
- 1 подписчик
- 9 часов назад
- 14 просмотров
0

ответов
Python

Простой
Почему мой discord бот не реагирует на свои команды?
- 1 подписчик
- 10 часов назад
- 55 просмотров
0

ответов
Парсинг

+1 ещё

Средний
Как правильно написать функцию IMPORTJSON для парсинга цен криптовалют в гугл таблицу?
- 1 подписчик
- 11 часов назад
- 12 просмотров
0

ответов
Показать ещё Загружается…

Team Lead (С++, Python)

TopAssistant • Москва

от 400 000 ₽

Python developer

Bell Integrator

До 350 000 ₽

Python developer

Greenway Global • Новосибирск

от 150 000 ₽

[python,go] Залить ВИДЕО в тикток

19 апр. 2024, в 23:00

5000 руб./за проект

Разработка VST-плагина

19 апр. 2024, в 20:43

20000 руб./за проект

Нарисовать баннер для интернет-магазина

19 апр. 2024, в 20:35

500 руб./в час

Answer 1 · 2022-06-20 02:48:50

там в title название
view-source:https://kinogo.la/239-vremya-2011-smot...

<head>
<meta http-equiv="X-UA-Compatible" content="IE=edge" />
<meta http-equiv="Content-Type" content="text/html; charset=windows-1251" />
<title>Время (2011)</title>

Почему не получается спарсить название фильма?

Войдите, чтобы написать ответ

Минуточку внимания

Войдите на сайт