Веб-парсер распознающий возможные вставки на любом ЯП на любых сайтах кто-то имеет представление как написать?

Question

[newsiberian]

Добрый день, стоит задача добавить на сайт input, который будет принимать совершенно любую ссылку и парсить источник (предположительно это могут быть статьи с какими то примерами кода, допустим с хабра или medium, либо просто ссылки на код, либо документы в google docs. Всё что угодно.), парсер должен распознавать ЯП, который он встречает для дальнейшего оборачивания этого куска в highlighter.js и в целом вычленять саму статью/значимый текст из ссылки.

Может кто имеет представление, как подобное можно реализовать? Сайт пишется на JS

Comments

[Dimonchik]

а если ссылка отдаст gzip ?

[newsiberian]

Такое игнорим по идее. В ТЗ сказано парсить только сайты(html) либо raw код.

[newsiberian]

Благодарю, я как раз прикрутил один из таких, но как Вы и сказали, это не совсем то, в частности, обычно в статьях сниппеты оборачивают в хайлайтеры, которые каждый имеет свои особенности и чтобы распарсить такое, предполагаю, нужно конкретно под каждый затачиваться, т.е. в моей задаче под ВСЕ. Сервисы, конечно же на это не заточены.

Answer 1

[Stalker_RED]

Какой это ЯП?

$a = 2;
$b = 3;
$c = $a + $b;
print($c);
print("\n");

Если вы подумали что это PHP, то вы угадали.

Или не совсем?

Comments

[riot26]

На ruby этот код тоже будет валидным: https://goo.gl/F39527
Добавь к ответу :)

Answer 2

[riot26]

Человек не всегда сможет распознать ЯП. Соответственно, ответ: "никак".

Answer 3

[newsiberian]

Вот интересная статья по теме, но я совершенно не в теме.

Также была мысль о том, что в какой-то степени можно воспользоваться github-linguist