Почему не получается спарсить название фильма?

Question

xomiles @xomiles

Почему не получается спарсить название фильма?

Помогите пожалуйста спарсить название фильма с этого сайта https://kinogo.la/239-vremya-2011-smotret-onlayn_1... с помощью Beautiful Soup на Python в данных из гет запроса просто напросто нет нужного мне элемента с названием. В чём причина и как это обойти?

Вопрос задан более двух лет назад
191 просмотр

Комментировать

Подписаться 1 Простой Комментировать

Решения вопроса 1

7 комментариев

xomiles @xomiles Автор вопроса

А если мне нужно спарсить ещё и жанры, что в этом случае?

Написано более двух лет назад

Rst0 @Rst0

поступайте аналогично
повторно кидаю ссылку
view-source:https://kinogo.la/239-vremya-2011-smot...

<div class="quote">

<b>Год выпуска:</b> <a href="/tags/2011/">2011</a><br>                         /* я год выпуска  */
<b>Страна:</b> США<br>                                                                                     /* салют бро) я страна  */
<b>Жанр:</b> <a href="https://kinogo.la/film/fantastika/">Фантастика</a><br> /* привет бро) я жанр  */

<b>Продолжительность:</b> 01:49:00<br>
<b>Кинопоиск:</b> 7,3 (178518)<br>
<b>IMDB:</b> 6,7 (310679)<br>
<b>Бюджет:</b> $40 000 000<br>
<b>Премьера:</b> 30 сентября 2011<br>

<br><b>Режиссер:</b> <a href="/tags/Марк Абрахам/">Марк Абрахам</a><br>

Написано более двух лет назад

xomiles @xomiles Автор вопроса

Rst0, Я понимаю, но проблема вот в чём, в браузере в коде страницы всё окей, но если взять код страницы из GET запроса с помощью requests, то этих данных не будет

Написано более двух лет назад
Rst0 @Rst0
вариантов тут не много
у вас кодировка скрипта utf-8
а у сайта:

<meta http-equiv="Content-Type" content="text/html; charset=windows-1251" />

строка `жанр` будет выглядеть так:

<b>��:</b> <a href="https://kinogo.la/film/boeviki/">��</a>, <a href="https://kinogo.la/film/fantastika/">��</a><br>

найдется?? ))
beautifulsoup encoding windows-1252 - Поиск в Google
Написано более двух лет назад

Rst0 @Rst0

сделал тестовый curl GET запрос в PHP

$ch = curl_init();
$opt = [ 
  CURLOPT_URL=>'https://kinogo.la/239-vremya-2011-smotret-onlayn_11-01.html', 
  CURLOPT_USERAGENT=>'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36',
  CURLOPT_COOKIE=>'' ,
  CURLOPT_COOKIESESSION=>1, 
  CURLOPT_SSL_VERIFYHOST=>0, 
  CURLOPT_SSL_VERIFYPEER=>0, 
  CURLOPT_VERBOSE=>0, 
  CURLOPT_FOLLOWLOCATION=>1, 
  CURLOPT_UNRESTRICTED_AUTH=>1,
  CURLOPT_FAILONERROR=>1, 
  CURLOPT_AUTOREFERER=>1, 
  CURLOPT_TIMEOUT=>0, 
  CURLOPT_CONNECTTIMEOUT=>0,
  CURLOPT_HEADER=>1,
  CURLOPT_FOLLOWLOCATION => 1,  
  CURLOPT_RETURNTRANSFER=>1 
   ];
	curl_setopt_array($ch,$opt); 
        if( false === ($data=curl_exec($ch)))$curl_error=curl_error($ch);
        curl_close($ch);
        return $data;

ответ перекодировал win-1251 > utf-8
все находится)

результат:

<!doctype html>
<html xmlns="http://www.w3.org/1999/xhtml" xml:lang="ru" lang="ru" prefix="og: http://ogp.me/ns# video: http://ogp.me/ns/video# ya: http://webmaster.yandex.ru/vocabularies/">
<head>
<meta http-equiv="X-UA-Compatible" content="IE=edge" />
<meta http-equiv="Content-Type" content="text/html; charset=windows-1251" />
<title>KinoGo.la</title>
<meta name="description" content="KinoGo.la — единственный официальный сайт Киного! Более 30.000 
</head>
<body>

<div id="loading-layer" style="display:none">Загрузка. Пожалуйста, подождите...</div>

</script>
<div class="header_black"></div><!--header_black-->

<div class="wrapper">

<div class="contener">
<div class="contener2">
<div class="content">

<br><div class="mini" style="border-top:0px; padding-top:0px;"><form name="news_set_sort" id="news_set_sort" method="post" action="" >Сортировать по:&nbsp;<img src="/templates/Kinogo/dleimages/desc.gif" alt="" /><a href="#" onclick="dle_change_sort(\'date\',\'asc\'); return false;">дате</a> | <a href="#" onclick="dle_change_sort(\'rating\',\'desc\'); return false;">рейтингу</a> | <a href="#" onclick="dle_change_sort(\'news_read\',\'desc\'); return false;">посещаемости</a> | <a href="#" onclick="dle_change_sort(\'comm_num\',\'desc\'); return false;">комментариям</a> | <a href="#" onclick="dle_change_sort(\'title\',\'desc\'); return false;">алфавиту</a><input type="hidden" name="dlenewssortby" id="dlenewssortby" value="date" />
<input type="hidden" name="dledirection" id="dledirection" value="DESC" />
<input type="hidden" name="set_new_sort" id="set_new_sort" value="dle_sort_main" />
<input type="hidden" name="set_direction_sort" id="set_direction_sort" value="dle_direction_main" />
<script type="text/javascript" language="javascript">
<!-- begin

function dle_change_sort(sort, direction){

  document.cookie = \'sorted=1;expires=0;path=/\';
  var frm = document.getElementById(\'news_set_sort\');

  frm.dlenewssortby.value=sort;
  frm.dledirection.value=direction;

  frm.submit();
  return false;
};

// end -->
</script></form></div><br><div id=\'dle-content\'><div class="shortstory shid42133" data-id="42133" data-overlay="false">
<div class="shortstorytitle">
<div style="width: 160px;float: right;">
    <span class="izbrannoe"> <span class="favoriticon"><a id="fav-id-42133" href="https://kinogo.la/index.php?do=favorites&amp;doaction=add&amp;id=42133"><img width="23" height="37" src="https://kinogo.la/templates/Kinogo/dleimages/plus_fav.gif" onclick="doFavorites(\'42133\', \'plus\'); return false;" title="Добавить в свои закладки на сайте" style="vertical-align: middle;border: none;" alt="" /></a></span> </span>
   <span class="podrobnosti_right"><div id=\'ratig-layer-42133\'><div class="rating">
		<ul itemprop="aggregateRating" itemscope itemtype="http://schema.org/AggregateRating" class="unit-rating">
		<li itemprop="ratingValue" class="current-rating" style="width:68px;">68</li>
		<li itemprop="ratingCount">3</li>
		<li itemprop="bestRating">100</li>
		<ul itemprop="itemReviewed" content="Movie" itemscope itemtype="https://schema.org/Movie">
			<li itemprop="name" content=""></li>
			<li itemprop="image" content=""></li>
			<li itemprop="director" content=""></li>
			<li itemprop="dateCreated" content=""></li>
			
			
		</ul>
		<li><a href="#" title="Плохо" class="r1-unit" onclick="doRate(\'1\', \'42133\'); return false;">1</a></li>
		<li><a href="#" title="Приемлемо" class="r2-unit" onclick="doRate(\'2\', \'42133\'); return false;">2</a></li>
		<li><a href="#" title="Средне" class="r3-unit" onclick="doRate(\'3\', \'42133\'); return false;">3</a></li>
		<li><a href="#" title="Хорошо" class="r4-unit" onclick="doRate(\'4\', \'42133\'); return false;">4</a></li>
		<li><a href="#" title="Отлично" class="r5-unit" onclick="doRate(\'5\', \'42133\'); return false;">5</a></li>
		</ul>
</div></div></span>
   
</div>

<h2  class="zagolovki"><a aria-label="Спайдерхед (2022)" href="https://kinogo.la/42133-spiderhead_2022.html">Спайдерхед (2022) </a></h2> 
</div><!--shortstorytitle-->
<div class="shortimg"><div id="42133" style="display:inline;"><!--TBegin:[xfvalue_image]|left--><a aria-label="Спайдерхед (2022)" href="https://kinogo.la/42133-spiderhead_2022.html">


<div class="overlaytumb">
<img alt="Спайдерхед (2022)" src="/uploads/cache/9/d/5/0/5/9/9/e/c/1655682156-1056294621-spayderhed-KINOGO_BY-200x300.jpg"  width="200" height="300" style="float:left;"></a>
</div>
<!--TEnd--><div id="news-id-42133" style="display:inline;">В ближайшем будущем осужденным предоставляется возможность стать добровольцами для испытания новых медицинских препаратов, чтобы смягчить режим или сократить срок. Ультрасовременной исправительной колонией управляет ученый Стив Абнести, который проводит испытание психоделиков. Когда один заключенный оказывается подопытным нового препарата, способного вызывать чувство любви, он начинает подвергать сомнению реальность своих эмоций и решает во что бы то ни стало докопаться до истины.</div><br><br>


<b>Год выпуска:</b> <a href="/tags/2022/">2022</a><br> 
<b>Страна:</b> США<br>
<b>Жанр:</b> <a href="https://kinogo.la/film/boeviki/">Боевик</a>, <a href="https://kinogo.la/film/fantastika/">Фантастика</a>, <a href="https://kinogo.la/film/kriminal/">Криминал</a>, <a href="https://kinogo.la/film/dramy/">Драма</a>, <a href="https://kinogo.la/film/trillery/">Триллер</a><br>
<b>Качество:</b> WEB-DLRip <br>
<b>Перевод:</b> Профессиональный <br>
<b>Продолжительность:</b> 106 мин. / 01:46<br>
<b>Премьера:</b> 17 июня 2022<br>

</div></div>
<span style="float: right;margin-top: -20px;display: inline-block;line-height: 20px;/* font-size: 14px; */padding: 0 10px;border-radius: 2px;background-color: #848480;color: #fff;">ADS</span>
</div>



 .............  и т.д.
</body>
</html>'

Написано более двух лет назад

Rst0 @Rst0

Beautiful Soup - Кодировки

Написано более двух лет назад

Rst0 @Rst0

да, чуть не забыл,
запрос должен содержать такие заголовки, чтоб 100%
получить страницу как в браузере

':authority: kinogo.la',
':path: /239-vremya-2011-smotret-onlayn_11-01.html',
':scheme: https',
'accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9',
'accept-language: ru-RU,ru;q=0.9,en-US;q=0.8,en;q=0.7',
'cache-control: no-cache',
'pragma: no-cache',
'sec-ch-ua: " Not A;Brand";v="99", "Chromium";v="102", "Google Chrome";v="102"',
'sec-ch-ua-mobile: ?0',
'sec-ch-ua-platform: "Windows"',
'sec-fetch-dest: document',
'sec-fetch-mode: navigate',
'sec-fetch-site: cross-site',
'sec-fetch-user: ?1',
'upgrade-insecure-requests: 1',

Написано более двух лет назад

Пригласить эксперта

Ваш ответ на вопрос

Войдите, чтобы написать ответ

Похожие вопросы

Python

Простой
Мультиязычность на python как стоит оптимизировать?
- 1 подписчик
- 3 часа назад
- 46 просмотров
2

ответа
Python

Простой
Как в данном коде сделать часть текста желтым цветом?
- 1 подписчик
- 14 часов назад
- 57 просмотров
1

ответ
Python

+1 ещё

Простой
Где мне указать db.connect(), чтобы он распространился на весь проект?
- 2 подписчика
- 23 часа назад
- 138 просмотров
2

ответа
Программное обеспечение и интернет-сервисы

+1 ещё

Простой
Как сохранить сайт и внести изменения?
- 1 подписчик
- вчера
- 88 просмотров
4

ответа
Python

+1 ещё

Простой
Как решить ошибку AssertionError: expected call not found при запуске тестов библиотеки python unittest?
- 1 подписчик
- 20 дек.
- 64 просмотра
0

ответов
Python

Простой
Как преобразовать список в несколько строк с возрастающими значениями?
- 1 подписчик
- 19 дек.
- 106 просмотров
1

ответ
Python

+1 ещё

Простой
Что нужно сделать чтобы код заработал как надо?
- 1 подписчик
- 19 дек.
- 529 просмотров
2

ответа
Python

Простой
Как удалить из строки пустые строки, находящиеся не в начале, и не в конце строки?
- 1 подписчик
- 19 дек.
- 125 просмотров
2

ответа
Python

Простой
Как правильно узнавать типы данных (из внешних пакетов) для объявления своих функций?
- 1 подписчик
- 18 дек.
- 131 просмотр
2

ответа
Python

Простой
Как в VK Bottle получить имя и фамилию пользователя?
- 1 подписчик
- 18 дек.
- 65 просмотров
1

ответ
Показать ещё Загружается…

Python-разработчик

Uptrade

от 70 000 до 150 000 ₽

Middle/Senior Python Developer

Большая Тройка • Москва

от 200 000 до 300 000 ₽

Python developer

Greenway Global • Новосибирск

от 150 000 ₽

Разработка графического приложения с использованием библиотеки javaFx

22 дек. 2024, в 17:15

2000 руб./за проект

Вирусные рилсы для е-коммерс и ВБ

22 дек. 2024, в 17:11

50000 руб./за проект

Допил JS-PHP парсера

22 дек. 2024, в 16:26

2500 руб./за проект

Answer 1 · 2022-06-20 02:48:50

там в title название
view-source:https://kinogo.la/239-vremya-2011-smot...

<head>
<meta http-equiv="X-UA-Compatible" content="IE=edge" />
<meta http-equiv="Content-Type" content="text/html; charset=windows-1251" />
<title>Время (2011)</title>

Почему не получается спарсить название фильма?

Войдите, чтобы написать ответ

Минуточку внимания

Войдите на сайт