Как получить с html страницы название организации, не заходя вручную?

Question

[Игорь]

У большинства сайтов в шапке или в футере часто находится их название.

Какой алгоритм можно использовать, чтобы найти повторяющиеся значения и попытаться из них получить данные о названии?

Например, есть адрес

http://habrahabr.ru/

Нужно найти название организации. Вручную алгоритм следующий. Смотрим шапку, смотрим футер, если не находим переходим на страницу контакты или о сайте

Результатом будет названия: Хабрахабр Компания "ТМ"

Как не переходя на сайт вручную получить подобные данные?

Хотелось бы понять алгоритм

Comments

[Игорь]

То что получили на данный момент: Поиск по названиям тегов Поиск по одинаковым элементам страниц Поиск по названию изображения

[Игорь]

микроразметка hCard

[Игорь]

Задача поиска: Нужно установить принадлежность сайта конкретной организации. Но кроме названия ООО и т.п. официальных найти название самого проекта если оно указано на сайте. В стиле наш интернет магазин Рога на копытах, при этом название ООО Чудеса

[Игорь]

данные whois.

Answer 1

[Андрей Белов]

Я бы, наверное, сперва попробовал выделить обвязку страниц. Т. е. взять несколько страниц сайта и определить на них повторяющийся текст. А дальше уже эмпирически подбирать правила для разбора получившегося. Например, часто название компании идет после или перед ©, часто оно упоминается в тайтле, часто перед ним идут слова "компания", "ООО" и т. п.

Answer 2

[Кирилл Фирсов]

Например, с помощью регулярных выражений.

Comments

[Игорь]

Разбор страницы регулярными выражениями предполагает что нам известно что в них написать. Только как определить что это футер или шапка, а не описание другой компании в контексте.

[Кирилл Фирсов]

@leotop http://habrahabr.ru/company/mailru/blog/200394/

[Игорь]

Как вариант нужно попробовать, после выделения частей текста уже можно попробовать регулярные выражения в сочетании с конечными автоматами.

Answer 3

[vacuumn]

Нужно парсить HTML, но только не делай это через регулярные выражения. Каждый раз когда ты парсишь HTML регулярками — в мире умирает один разработчик.

Для Хабра, например футер легко найти, у него логичный id:

<div id="footer">

Дальше ты берешь весь текст из футера и ищешь там название компании и ссылки на страницу "Контакты". 

У других сайтов футер или хедер найти будет тяжелее. Нужно будет проанализировать несколько десятков сайтов и составить список правил, по котором можно будет легко найти в коде страницы блоки с нужными елементами.</div>

Comments

[Игорь]

Если подписано что это футер, то возможно это и так, а возможно дизайнер решил по другому и в футере контент. Возможно стоит определять каким-то другим алгоритмом, например проверяя 3-5 страниц для поиска не изменяющихся данных. И уже среди них что-то искать?

[Александр Борисович]

Не через регулярные? Это когда html валидный. А когда нет, только регулярки и остаются.

Answer 4

[ChemAli]

Единого алгоритма нет, так как нет единого стандарта описания организаций на сайтах.

Чтобы не переходить вручную нужно переходить программно. Для этого пишутся (или используются универсальные) программы-парсеры.

Если будете писать сами, то алгоритм нужно будет делать многошаговый и многовариантный.

В идеальном мире на идеальных сайтах присутствует микроразметка hCard, из которой можно извлечь название организации и другие данные о ней, заботливо предоставленные хозяевами сайта.

Все остальные варианты лучше сразу обработать вручную, так как их слишком много :)

Comments

[Игорь]

писать буду сам, проблем с этим пока не возникает, а вот с алгоритмами бывают. Про hCard - интересный вариант, совсем про него забыл. Но тут как раз не учтет альтернативных названий. ООО одно, а название сайта другое. Вручную не интересно по причине огромного объема обрабатываемых данных, около 10000 сайтов на одну выборку. На данный момент именно RU сегмент интернет.

Answer 5

[VeMax]

Так же можно попробовать найти, к примеру img с классом logo и посмотреть у него alt или title. Как дополнительный вариант для проверки пойдет.

Comments

[Игорь]

Как вариант, но картинку распознавать все равно вручную, только как указатель.

Answer 6

[ChemAli]

Название самого проекта — мета-теги (опять же, если правильно заполнены).

Еще можно посмотреть whois домена — вроде еще не везде закрывают данные владельца.

Answer 7

[Николай Елисеев]

Вопросов крайне много, ровным счетом как и неопределенности. А если на странице будет несколько названий организаций. Как сформулирована у Вас задача? Вам надо собрать все названия со указанных страниц или Вам надо установить принадлежность сайта к компании?

Comments

[Игорь]

указал уточнение в самом вопросе