Возможно ли создать универсальный парсер html на .net?

Question

[MrRob0t]

Нужно создать универсальный парсер новостей на c #. Структура новости фото, заголовок, контент. Возможно ли чтобы он работал на большинстве сайтов?

Comments

[Толстый Лорри]

Вообще, HTML затем и нужен, чтобы отражать структуру документов) Другое дело, что сами сайты могут быть написаны как попало и можно лишь делать предположения о семантике блоков.

[Александр]

MrRob0t, В комментариях к ответу уже написал, но еще вам напишу, возможно будет интересно: есть готовое решение под ваши задачи x-parser.ru/software/1-x-parser-light.html

Answer 1

[Александр]

Возможно, как в принципе и на любом другом ЯП

Answer 2

[Tom Nolane]

если вы под

универсальный парсер новостей на c #

подразумеваете: написать код один раз и дальше его использовать для разных новостных сайтов, то нет
если написать код сразу под конкретные сайты, то "почти" да, возможно. Но могуть быть миллион и одна проблема в архетиктуре самого сайта, к примеру:
достаточно попробовать пропарсить сайт госзакупок и сразу поймете о чем я.
Или к примеру собрать БД по автомобилям: чтобы под каждую категорию, версию, модели, комплектации авто были все данные.

Возможно ли чтобы он работал на большинстве сайтов

НЕТ, работать будет если под каждый сайт делать свой парсер, либо будет "много мусора" собираться: реклама, отзывы, соседние блоки, либо браться часть контента, либо браться совсем не то...

Comments

[Александр]

НЕТ, работать будет если под каждый сайт делать свой парсер

Категорически с вами не согласен. Под большинство как раз таки можно сделать, я сам когда-то подобное делал, ничего сложного. Вот, для примера, есть готовое решение которое успешно парсит большинство сайтов x-parser.ru/software/1-x-parser-light.html

Судя по оформлению программы, не исключаю, что написана она как раз таки на C#

Если использовать нейросети и хорошенько их обучить, думаю можно будет добиться еще лучших результатов.

[Tom Nolane]

Александр, про нейросети не скажу, не пользовался. Про остальное скажу: чтобы был нормальный контент, нужно под каждый сайт анализировать и под него делать. Если вы утверждаете обратное, то опишите как взять статью от сюда и от сюда "универсально" (без мусора)

[Александр]

Tom Nolane, есть известный (в определенных кругах) софт который решает указанную задачу, у него много положительных отзывов, а вы продолжаете говорить, что это нереально? Извините, но я вас переубеждать не хочу, верьте в что хотите.

[Александр]

Tom Nolane, кстати в FireFox есть функция "Вид для чтения", который прекрасно справился с указанными вами ссылками. Единственное, что первую картинку теряет, но не исключено, что так и задумано, так как картинки внутри текста остаются.

prntscr.com/js21gz
prntscr.com/js21pf

[Tom Nolane]

Александр, я написал с два десятка парсеров всяких разных и знаю о чём пишу.
а судя по скрину: joxi.ru/823oaJzCJDBvx2 мне бы вот это и даром не надо было. Это я считаю мусором. А теперь сравните "уже результат" с двух последних сайтов-заглушек (делал по работе за пару дней):
с юутба контент (примерно 7-8к, скрин парсера юутуб)
рецепты (около 28к, скрин парсера рецептов)
, вот парсер по госзакупкам, где-то парсер валяется по вокруг света, выше-автомобильному сайту и кучу другим.

Я не знаю что вы подразумеваете "спарсить данные с сайтов". Для меня это значит: "взять то, что нужно мне, без мусора, артефактов, без сторонних ссылок, в многопоточном режиме и отправить к себе через API в БД либо сохранить в файл". Причем, чтобы спарсенный текст имел свой заголовок, тег (если нужно), отдельно картинку и т.д. а не набор разно структурированного hrml текста, тегов и т.д. и в куче всё одной

Далеко не все сайты имеют opengraf метки, rss, и т.д.

[Александр]

я написал с два десятка парсеров всяких разных и знаю о чём пишу.

Это абсолютно бесполезный опыт для задачи написания "универсального парсера". Извините, но дальше вы бред пишите. Никто не доказывал, что специально написаный под сайт парсер лучше универсального, но вы громко кричите, что написание универсального парсера нереальная задача, при этом, как я понимаю, ни разу даже не пытались такой создать. А я пытался, и даже создал и для большинства сайта он довольно точно вытягивал контент и чистил его от мусора, что для моей задачи было вполне приемлемо.

[Tom Nolane]

Александр, ссылку на гитхаб/гитлаб пжлст

дальше я аргументирую, а вы даже не сочли ответить что для вас значит "спарсить сайт".
Для вас походу норма: собрать "в кучу" ссылки на сторонние ресурсы, кривые текста, цифры с пустого места, и чтобы это всё было "одним сплошным комом". Тогда для этого достаточно

var d = document.getElementsByTagName('body')
console.log(d[0].innerText)

увы.. это не значит "спарсить страницу"

[Александр]

Tom Nolane, я не говорил, что это опенсорс.

В общем я так и думал: если человеку показать готовое решение, но он дальше будет доказывать, что это нереально - значит не стоит тратить время, на переубеждение, это фанатик. Как я говорил ранее - верьте во что хотите, я больше тратить на вас время не хочу и не буду.

[fragolino]

Я вот делал сервис на Laravel zakupki-online.site и парсил госзакупки библиотекой Goutte и DomCrawler (Symfony)
Пару пробуксовок и все парситься красиво и четко!