Как сохранить результат парсинга в MySQL.?

Question

[Alex Gutter]

Добрый день. Получил тестовое задание на php-джуна:
По кнопке “Загрузить” парсить 5 последних статей с сайта https://habr.com и сохранять в
базу. После завершения парсинга отображать полученные статьи на страницах.
2. На этой же странице выводить список статей, полученных ранее. Отображать по 5 статей
на страницу. Добавить пагинатор для перехода по страницам.
3. Ссылка с названия статьи должна открывать в новой вкладке браузера статью на сайте
https://habr.com. Текст статей на странице отображать обрезанным до 200 символов.
Кнопка “Полный текст” должна отображать полное содержимое статьи в модальном окне
на весь экран. На модальном окне должен быть закрывающий его крестик.
4. Обновление списка статей после парсинга, листание страниц и показ полного содержимого
статьи должны происходить без перезагрузки страницы.

Решил воспользоваться библиотекой DiDom, т.к. опыта не имею все что на данный момент сообразил это вот:

require_once('vendor/autoload.php');
	
	use DiDom\Document;

	$document = new Document('https://habr.com/ru/all/', true); 
	$posts = $document->find('.post');
	$last5posts = array_slice($posts, 0, 5); 
	
	foreach($last5posts as $post) {
		echo $post->html(), "\n";
	}

Образно представляю что должно получиться, но как это реализовать не очень ясно. Хотя бы понять как результат парсинга в БД (MySQL) сохранить.
Прошу помочь новичку.

Comments

[Ivan Yakushenko]

А дальше что? Будете бегать на тостер с каждым микро-заданием, которые вам только будут давать?
Уверен, вы даже ни 1 книги по программированию не прочитали, ни 1 пет-проекта хоть какого не сделали, но побежали искать работу. Что с вами не так?

[damn]

Если ты на этапе тестового задания обращаешься за помощью, то что ты собрался делать далее?

[Alex Gutter]

Ivan Yakushenko, ну и зря уверен, прочитал и не одну, правда по python (Лутц, например).

[Ivan Yakushenko]

Alex Gutter, видимо читал неймоверно посредственно. Откуда-то выдрал кусок кода, но даже так по аналогии с $document->find('.post'); не смог хотя бы тайтлы и урлы собрать. В вебе - работа с БД входит в самую базу и освещается в любой книге/доке уже спустя несколько глав.
Как ты вообще собирался работать на php если ты даже базы не знаешь?

[Талян]

Alex Gutter, дык и устраивайтесь на питониста)

[Антон Р.]

Alex Gutter, я вот одно не пойму - зачем ты на php начал делать если тут JS более уместен или Ajax+php:

Кнопка “Полный текст” должна отображать полное содержимое статьи в модальном окне
на весь экран. На модальном окне должен быть закрывающий его крестик.
4. Обновление списка статей после парсинга, листание страниц и показ полного содержимого
статьи должны происходить без перезагрузки страницы.

[Ivan Yakushenko]

Талян, так он 1с девом хочет стать, а для этого нужно питон - учить, на пхп - работать.
Вот ты не шаришь вообще.

[Alex Gutter]

Талян, Талян, я с удовольствием, только ведь всем подавай опытных. А обяъснять никто не хочет, и комменты тут этому доказательство.

[Талян]

Антон Р., ну вы забыли упомянуть, что еще и знания браузера придётся применить, ведь это будет работать в браузере!) [шютко]

Я думаю, очевидно что автор не собирается делать подключение к БД из frontend-JS а рисовать модальные окна не собирается на питоне на стороне клиента, или при помощи PHP.

[Талян]

Alex Gutter, дак а зачем объяснять? Ужё всё объяснено labdes.ru/php-pdo-mysql-examples

[Alex Gutter]

Мне хотябы понять как в бд сохранить

[Ivan Yakushenko]

Alex Gutter, вот тут можете понять. А еще написать в гугл 2 слова php mysql и получить сотни подробных инструкций с кодами, примерами и может быть даже с картиночками.

[Developer]

Alex Gutter, Гугл - php save data mysql

[Талян]

Ivan Yakushenko,

так он 1с девом хочет стать, а для этого нужно питон - учить, на пхп - работать.
Вот ты не шаришь вообще.

Хорошего вам настроения!) Такого же, какое у меня сейчас, после прочтения вашего шикарного сарказма =)

[Ivan Yakushenko]

Alex Gutter, тебе никто ничего не должен объяснять. Ты даже 1 строчки не прочел ни одной книги/статьи/доки по пхп, но пошел на роль пхп-джуна, хотя сам по себе джун - это человек, который как минимум что-то знает и умеет.
При этом ты приходишь на ресурс, где одни люди задают вопросы, а другие на них отвечают. В твоем сообщении нет вопроса, нет проблемы, нет ошибки, ты просто ничего не можешь/не знаешь и просишь сказать как это сделать

При том что все понимают, что если помогут и ты каким то чудом пройдешь на работу, то ты станешь абузой для всех, кто будет с тобой работать. Никто тут не будет так жестко подставлять своих "коллег".

[Талян]

Alex Gutter,

вот она человеческая натура - помочь влом, но зайти и написать что "куда ты лезешь" ни разу не лень xD

Ну вообще, вам помогают научиться пользоваться гуглом. А это как раз самое важное. Удачи вам!

[Alex Gutter]

Ivan Yakushenko, я прекрасно знаю что никто мне из вас ничего не должен. Не хочешь не надо, я тебя и не звал, иди своей дорогой.

[Ivan Yakushenko]

Alex Gutter, до тебя не доходит? Если ты со своими "знаниями" устроишься на работу - тебя выпрут от-туда как только поймут с кем связалсь, никто не будет тебя учить с 0 и еще деньги за это платить. Если работа официальная - несколько-дневная запись о работе будет таким лютым камнем на пути твоей "карьеры", что не факт что ты его обойдешь.

Сейчас у тебя есть уникальная возможность понять, что ты не знаешь ничего и стать на путь познания. Не каждому это дано, так что прояви волю, не будь тряпкой, смирись и иди читать книжки. И не забудь позвонить в контору и извиниться, что потратил их время.

[Alex Gutter]

Талян, да ты что, правда что ли? А я еще выучил слово stack overflow, прикинь? Ну карочь, спасибо что преодолел свою лень и зашел написать "остроумные" комментарии.

[Талян]

Alex Gutter, пожалуйста! И не забудь - если ввести "google" в гугле, можно сломать весь интернет.

[Alex Gutter]

Ivan Yakushenko, дружище это ты пойми, я не просил никого за меня писать ничего, я попросил лишь направить в правильном направлении, это ты и такие как ты решили что я прошу все сделать за меня.

[Талян]

Alex Gutter, я ж ссылку дал. Там чего-то непонятно? Спрашивайте если это так. Там как раз описывается подключение к БД, выборка из неё и запись. Вы вроде это и спросили

[Alex Gutter]

Антон Р., потому что те кто дал задания, сказали, что это на пхп надо реализовать. Ну и в силу отсутствия опыта и наставника, нет понимания как реализовать технически. В любом случае спасибо за адекватный ответ.

[Антон Р.]

Alex Gutter, вот это на чистом php ты не сделаешь в принципе без ajax:

показ полного содержимого
статьи должны происходить без перезагрузки страницы

[Alex Gutter]

Талян, ок, только как я сказал, уже есть представление как подключаться к бд и делать CRUD-операции через пхп. Мне конкретно хочется понять как сохранить вот это в БД:
$post->html(), "\n";
Нужно преобразовать в другой формат или совсем забить на DiDoc?

[damn]

Alex Gutter, Что?! Как ты собрался без перезагрузки без JS данные выводить?

[Alex Gutter]

Антон Р., да я понял, спасибо. Буду в JS ковырять. Только сначала хочу понять как результат парсинга с БД сохранить и стоит ли вообще DiDoc использовать.

[Alex Gutter]

Ivan Yakushenko, т.е. вот так уместнее будет так?
$post->text(), "\n";

[Алексей Николаев]

А по-моему, это тонкий тролль.

[Талян]

Alex Gutter,

$db=new PDO(бла бла бла подключение к бд);
foreach($last5posts as $post) {
    echo $post->html(), "\n";
$prep = $db->prepare('INSERT INTO mytablename (htmlcontent) VALUES(:html)');
$prep->execute(array(":html" => $post->html()));
  }

Может так?

[Alex Gutter]

Талян, выше говорят мол html не надо сохранять, кому верить?

[Талян]

Alex Gutter,

$prep->execute(array(":html" => strip_tags($post->html())));

[Ivan Yakushenko]

был бы достаточный скил, сдал бы и на питоне.

А теории я начитался на всяких яп, только толку от этого 0.

А смысла и не будет, если просто читать. Главу прочитали - минимум 100 строк кода написали с использованием информации из текущей главы и прошлых. При этом придумывайте минимум несколько способов использования полученных знаний, а не шаблонные задачки в конце главы. Только так и никак иначе. Пока не начнете писать код - в жизни не сможете даже хеллов ворлд написать.

Парсеры - это чуть-ли не самое простое, что вообще можно делать на старте. Конечно речь не идёт о промышленных краулерах, которые работают в сотни потоков, парсят десятки сайтов по их запросам с подменой куки и прочей лабудой, а в целом - это невероятно просто.
Свои первые парсеры я учился делать по гайдам чуть-ли без знаний ЯП. Да, жрал говна порядочно из-за этого, затем исправился и начал читать книги и сейчас стало проще.

На тостер нужно идти с конкретными вопросами, проблемами и главное - кодом. Тогда вам будут отвечать и отвечать нормально.
Как пример, вот мой собственный вопрос, посмотрите на ответ и комментарии в нём - сколько человек потратил времени на подробное объяснение, в конечном итоге не поленился и написал рабочий прототип парсера по предложенным им технологиям.

Так что тут люди готовы помогать и направлять, но когда вы не в состоянии самостоятельно сделать вообще ничего и даже не потрудились хоть чуть-чуть освоить базу ЯП, на котором собираетесь "работать", то какой помощи вы вообще ждёте?

[Alex Gutter]

Ivan Yakushenko, попытки были, пруфы:
https://alex-microblog.herokuapp.com (flask)
https://myll.herokuapp.com (django)
Но толку без нормальной стажировки и наставника нет

[MisterN]

Талян, та не надо тебе js. Ну, т.е. можно все на аджаксе запилить, но не обязательно. Просто обновляй страничку и отображай, че в базу сохранено. Тебе нужно получить текст статьи. Ты там еще сам не справился со всем?

<h2 class="post__title">
    <a href="https://habr.com/ru/company/tuturu/blog/465075/" class="post__title_link">В кабине машиниста поезда</a>
  </h2>

$nameValue = $document->find('.post__title_link') - что-то типа этого. Только nameValue не копируй, это я ленюсь имя придумать. На странице 20 статей - вот их и сохрани, дальше не лезь.

По post__title_link Почитай доку по DiDom, тебе нужно получить название и атрибут href.
Я с DiDom не работал, не знаю точно как, но если тебе мало заголовка, то дальше тебе наверно нужно получить текст статьи. Импровизирую по твоему куску как-то так:

$document = new Document(здесь содержимое href, true); 
$posts = $document->find('.post__text post__text-html'); // с классами сам смотри.

и сохраняй в базу.
Далее, у тебя должна быть база данных и в ней табличка с нужными полями. (id, название и текст как минимум). Дамп базы с пустой табличкой приложишь к скриптам пшп, когда отдавать задание будешь. Сохраняй туда. Потом у тебя еще будет запара нарисовать пагинатор, чтобы отображать на странице статьи. Сделай отдельную страницу, которая по урлу получает get-параметр с id твоей статьи в базе и выводи Ну, решай проблемы по мере поступления. заголовки и тексты статей получил?
upd а, обновлять страницу тебе нельзя. Значит, все-таки аджакс нужен. Тут не могу сказать, что проще для новичка. Когда-то все с джиквери начинали, но нужно ли оно вообще. Ну, можешь сделать с перезагрузкой - уже не нулевой результат.

[Alex Gutter]

Ivan Yakushenko, чувак,ты сам себя перечитай и поймешь (надеюсь) что ты фимозничаешь. Такая помощь мне точно не нужна, поверь.

[Alex Gutter]

Ivan Yakushenko, вот ты фимозный xD Если я такой тупой и безпросветный, что ты на меня время тратишь? В этом посте уже достаточно народу дало больше полезной инфы, чем ты. Ты продолжаешь умничать и давать совершенно не нужные мне наставления.

[Alex Gutter]

Талян, вообщем нашел вот такой способ сохранять данные в бд, правда пока получается извлекать тот же текст, html не получается.

foreach($last5posts as $post) {
		$post = $post->text();
		$query_i ="INSERT INTO posts VALUES(NULL, '$post')"; //дбавляем данные в таблицу
		$result_i = mysqli_query($link, $query_i) or die("Ошибка " . mysqli_error($link));			
	}
	$query_s ="SELECT post FROM posts"; //извлекаем данные из таблицы
	$result_s = mysqli_query($link, $query_s) or die("Ошибка " . mysqli_error($link));

[MisterN]

Alex Gutter, напиши свою страницу html и вставляй в неё свой текст как-то так

<!DOCTYPE html>
<html lang="ru">
  <head>
  <title><? echo $title ?></title>
  </head>
  <body>
<теги бутстрапа>
<? echo $text ?>
</теги бутстрапа>
</body>

А правда, почему бы вам не посмотреть чтоль видосик какой-нить на тему php? Чтобы по-современней и были нужные вам темы (подключение к бд, шаблоны)? Ну просто впечатление нулевых знаний в пыхе производите.

[Alex Gutter]

MisterN, ну так я не отрицаю, что у меня знания в целом 0 в разработке, а не только в пхп. А вот вы опытный подскажите, как отсюда (именно с этой страницы https://habr.com/ru/all/) вытащить заголовок, текст и ссылку статьи, не как у меня всю статью целиком. Я смог только целиком:

require_once('vendor/autoload.php');
	require_once 'connection.php';
	
	use DiDom\Document;

	$document = new Document('https://habr.com/ru/all/', true); 
	$posts = $document->find('.post');
	$last5posts = array_slice($posts, 0, 5); 
	
	$link = mysqli_connect($host, $user, $password, $database) 
        or die("Ошибка " . mysqli_error($link));
			
	foreach($last5posts as $post) {
		$post = $post->text();
		$query_i ="INSERT INTO posts VALUES(NULL, '$post')"; //дбавляем данные в таблицу
		$result_i = mysqli_query($link, $query_i) or die("Ошибка " . mysqli_error($link));			
	}

[MisterN]

Alex Gutter, дык былин, скока материалов кругом? Можно ж с них начать. Что такое css вкурсе? Что такое селекторы css?

$nameValue = $document->find('.post__title_link') - что-то типа этого. Только nameValue не копируй, это я ленюсь имя придумать. На странице 20 статей - вот их и сохрани, дальше не лезь.

я это кому писал и для чего?
смотрите выше.
А так, ну вот приходите вы и говорите "люди добрые, научите читать!" Вам отвечают "вот, азбука, учите буквы, вот первая буква в вашем слове какая?" а вы не знаете. Ну, буквы же на распев никто с вами учить здесь не будет.

[Alex Gutter]

MisterN, в курсе что такое css и селекторы, только откуда могу знать в какое место его вставлять и как правильно его обозначить. Ситуация именно в том, что буквы и даже простые слова могу составлять, а вот предложения нет.

[MisterN]

Что вы знать не можете? Откройте страницу хабра и нажмить F12 на клавеатуре. В фаерфоксе нужная вам вклаюка называется "инспектор", в хроме иначе, но суть та же. Смотрите, какие классы у заголовков статей. И что я вам предлагал.

[MisterN]

Я с вашей либой не работал, но попробуйте просто ради эксперемента выполнить $document->find('.post__title_link')
и посмотрите, что вы собирёте.

[Alex Gutter]

MisterN, попробовал, результат такой же как и в
$nameValue = $document->find('.post');
т.е. выдает всю статью целиком

[MisterN]

Не может быть. Разные селекторы должны дергать разные куски dom. Я не знаю, как работает ваша либа, попробуйте $nameValue[0]->href или $nameValue[0]->getAttribute('href')

Answer 1

[terka43]

Если совсем просто, то html в текст и просто в бд сохраняй с PK ID, а потом ajax'ом по этому id выводи на страницу. Модальное тоже js, можно какой-нибудь jQuery, для той же простоты. Пагинация тоже js, легко гуглится, для красоты можешь какие-нибудь datatable использовать.
Что такое DiDom понятия не имею :)

Comments

[Alex Gutter]

Спасибо за совет. DiDom - библиотека для парсинга HTML, вот тут можно почитать https://github.com/Imangazaliev/DiDOM

[terka43]

Alex Gutter, спасибо за ссылку, читать я конечно же не буду. Просто тут больше опыт нужен в js, нежели в php

[Alex Gutter]

terka43, в любом случае спасибо за наводку.

Answer 2

[Северное Сияние]

Я чуть не поперхнулся от такого задания...
Какой-то наркоман его придумал.
НЕ ХОДИ К НИМ РАБОТАТЬ, слышишь? Они - идиоты.
И задания у них крайне идиотские.

Образно представляю что должно получиться, но как это реализовать не очень ясно

Мне тоже. Идиотские задачи вообще очень тяжело поддаются анализу.

Comments

[MisterN]

Спарсить новости с сайта, закинуть их в бд и отобразить результаты на странице? Ну, я сайт хабра не изучал, может там кругом js и на странице нет ничего. Но что тут прям такого вот дико-невозможного? Разве что парсить html редко приходится. Ну, может для вакансии это важно.

[slakhtarin]

Абсолютно нормальное задание для проверки знаний джуна.

[Северное Сияние]

slakhtarin, парсинг страниц - это такая частность, которую джун не обязан знать и уметь. как и свистоперделки с жс.

[Антон Р.]

MisterN, вот этот момент странный:

4. Обновление списка статей после парсинга, листание страниц и показ полного содержимого
статьи должны происходить без перезагрузки страницы.

[MisterN]

Антон Р., фак. Не заметил. Ну, значит аджакс. Или сделает с обновлением и скажет, что не знает аджакс, себя покажет. Я бы на ангулар сделал с запросами на апи, но ровно потому, что я с ним много работал. А что по-проще для новичка - даж не знаю. Живо ли еще джиквери?
Значит, вакансия не только на бэкендера, но и на фронт. Ну. похоже, что автору нужна хоть какая-то работа.

[Антон Р.]

MisterN,

Или сделает с обновлением и скажет, что не знает аджакс, себя покажет

мне кажется нет проблемы в том чтобы нагуглить пример ajax+php и сделать по примеру.
Вот: dnzl.ru/view_post.php?id=271

[MisterN]

Антон Р., да я ж говорю, я уже привык к жирным решениям типа ангулара. А что-то более простое и актуальное в 19 году сказать затрудняюсь. Так-то да, джиквери вариант.
Только с базой данных лучше через pdo соединяться.

[Alex Gutter]

MisterN, дело даже не в этом, я взрослый мужик, у которого есть на что жить, но которому хочется что-то нового. ИТ-шного образования нет, но полного свободного времени.

[MisterN]

Alex Gutter, тода вообще непонятно, в чем проблема. Если оно для удовольствия, то юзайте то, что приносит кайф, то, что не приносит обходите. Тут все можно нагуглить. Парсинг html? Гугл подскажет. Например, такую лекцию https://www.youtube.com/watch?v=KZnrb6U2uw8
Сохранять данные в базу? Ну блин, для пшп это одна из основных задач, тут гугл тем более подскажет. Гуглите "php pdo сохранение данных" или типа того. Ну, тут вам выше уже и ссылки дали и какой-то код набросали. Аджакс? Ну, тут вам Антон Р уже нагуглил ссылку. Но если времени много и все для удовольствия, то можно погуглить view js. Сам с ним не работал, но говорят, что он проще и продвинутее ангулара. Или можно попробовать поизучать ангулар. Про реакт слышал, что он сложноват для начала.
Вот следует ли изучить какой-нить фреймворк или cms - даж не знаю, что вам нужно по результату.
Как бы вам уже все рассказали и даже погуглили. Осталось это все исполнить.

[Alex Gutter]

MisterN, много чего читал и по pyhon, php, по фронту (в том числе react). Знакомился с Y2, Django, Flask. Но самостоятельное изучение не дает нужных результатов, как живой пример этот пост. А тупо запилить сайт на вордпрессе особого желания нет. За подсказки, конечно всем, адекватно ответившим, спасибо. Буду изучать.

[Антон Р.]

Alex Gutter,

А тупо запилить сайт на вордпрессе особого желания нет

Запили аналог Авито, ВК, YouDo, любого сложного проекта ,или тебе обязательно пинок от кого-то нужен чтобы начать кодить?

[Alex Gutter]

Антон Р., пожалуй, да. Нужно чтобы был простейший, но боевой заказ (пусть даже задаром), но с подробными инструкциями, от знающего чела. Чтобы нормально освоить скил, нормальные люди учатся делать поначалу элементарные вещи под четким руководством наставника, иначе выходит фигня, что доказано и не раз.

[Антон Р.]

Alex Gutter,

под четким руководством наставника

Не обязательно. Перфектционизм - главный враг программера. Все говнокодили поначалу, это нормально и это надо пройти, а не искать "стерильных" идеальных путей.

[Alex Gutter]

Антон Р., вовсе не стремлюсь сейчас к идеалу, именно хочу освоить стандартные приемы и шаблоны. А говнокод вот
https://alex-microblog.herokuapp.com (flask)
https://myll.herokuapp.com (django);
Только куда дальше двигаться - не понятно.

[MisterN]

Ну, авито-вк это перебор для начала. Просто бы бложик сделал. Он тут страницу не может сгенерить, а вы ему ВК.

[Антон Р.]

MisterN, это я образно ) не обязательно именно так сложно. я вот доску объявлений на процедурке накодил
(php)

[Антон Р.]

Alex Gutter, дальше - усложняй функционал, и придешь к ООП и прочим вещам ибо зароешься в своем же коде.

[MisterN]

Антон Р., образно... У меня было, что мне поручили клон биглиона сделать. А я отвечал "вы ж меня верстальщиком на работу взяли" )) Сто лет назад.

[Антон Р.]

MisterN, берешь готовую CMS и ставишь на хостинг ) xn--h1adbkaeg5a.xn--p1ai/main.php
А вообще такие заявы - хороший повод повысить свой скилл, а не скандалить или увольняться.

Answer 3

[Евгений Матвеев]

в БД создай таблицу, где ключевое поле - ИД статьи, второе поле - название статьи, третье - текст статьи и т.д.
затем из таблицы легко выбирать будет инфу по 5 записей с LIMIT 5

Comments

[Alex Gutter]

Это понятно, не понятно как разделить результаты парсинга на название статьи, текст статьи и т.д. На данный момент сделал 2 поля: id (int) и post(text). В post сохраняю статью целиком без разделения ее на части. Теперь думаю получиться ли корректно из бд отобразить сохраненные данные в html.

[Евгений Матвеев]

воспользуйтесь любым Html-парсером

[Alex Gutter]

Евгений Матвеев, он уже использован, если вы не заметили:
use DiDom\Document;

[Евгений Матвеев]

Alex Gutter, вы же не закончили парсить. например, заголовок статьи на хабре находится в теге:

[Alex Gutter]

Евгений Матвеев, законченный парсинг, но статьи целиком:

require_once('vendor/autoload.php');
  require_once 'connection.php';
  
  use DiDom\Document;

  $document = new Document('https://habr.com/ru/all/', true); 
  $posts = $document->find('.post');
  $last5posts = array_slice($posts, 0, 5); 
  
  $link = mysqli_connect($host, $user, $password, $database) 
        or die("Ошибка " . mysqli_error($link));
      
  foreach($last5posts as $post) {
    $post = $post->text();
    $query_i ="INSERT INTO posts VALUES(NULL, '$post')"; //дбавляем данные в таблицу
    $result_i = mysqli_query($link, $query_i) or die("Ошибка " . mysqli_error($link));			
  }

Как парсить отдельные элементы статьи (заголовок, тело и прочее) я не нашел пока ответа (именно со страницы https://habr.com/ru/all/). Здесь спрашивал, но так никто ничего внятного не ответил.

[Евгений Матвеев]

это нужно смотреть в документации неизвестного мне парсера DiDom

Answer 4

[Дмитрий Дремин]

я бы порекомендовал использовать phpQuery для определения силекторов, а для записи в базу данных ORM RedBeanPHP. а если хотите готовый то можете посмотреть статью тут https://obninsksite.ru/blog/php-scripts/parser-na-...

Comments

[Alex Gutter]

Ок, спасибо за совет, обязательно ознакомлюсь.