Персональный гугл, если ли?

Question

[3Cube]

Есть ли такое в мире OpenSource в виде готового продукта? Краулер, который ходит по интернетам и ищет сам, то о чём я его попросил. Задаю ему запрос и через некоторое время получаю список страниц с наиболее релевантными данными, которые прошли фильтр на SEO мусор и бесполезность.

Comments

[d'Ivan]

прошли фильтр на SEO мусор и бесполезность.

Гугль плохо старается и не заинтересован в качественных результатах?
Как определить что есть мусор?

[Владислав Лысков]

Иерокопус Таманский, легко, куча статей с машинным переводом

[d'Ivan]

Владислав Лысков, что легко? Я про выявление мусора, про определение факта

[dobromin]

Думаю лучше смотреть в сторону фильрации выдачи поисковиков. В итоге у вас мусор будет скрываться из запроса а нужное появляться. К примеру запрос сделали, чистый Я выдаст первую страницу с чушью, скрипт это очищает и вы в итоге видите первую страницу с нормальными данными которые могли быть в чистов виде только на 10 и 20 страницах Я или иного другого поисковика.

Answer 1

[Daemon23RUS]

Краулер, который ходит по интернетам и ищет сам, то о чём я его попросил

Боюсь, что ответ Вашего частного поисковика придется долго ждать. Обратимся к цифрам: сейчас порядка 2 млрд. сайтов ( обратите внимание на то что это сайты, а не страницы, коих на многих сайтах десятки, сотни, тысячи а на части на порядки больше) предположим, что ваш краулер пожирает сайты по 10 шт в секунду (со всеми страницами), так вот ждать ответа придется лет 7.
И это мы опустили трафик, который сожрет краулер. А там все за гранью не то что домашнего сервера, а не все страны потребляют такой объем.
P.S. Тут вопрос не в алгоритмах или коде, вопрос в объеме "перевариваемой" информации

Comments

[Владимир Куц]

Ну, - справедливости ради, можно не самому искать, а делать запросы через поисковики. Что мешает краулеру сделать запросы в тот же гугл, яндекс, бинг, дакдакго и иже с ними, и фильтровать уже их ответы в соответствии с запросами автора, - запросов для этого нужно сделать гораздо меньше. Сделать эдакий метапоисковик...

[Daemon23RUS]

Владимир Куц, А смысл ? получить "модифицированный" (кривой) граф от поисковика, применить на него некие (какие - ?) фильтры. Которые, причем, зависят от контекста поиска, заметим, что при разных запросах этот самый контекст - разный. С этой задачей прекрасно справляется биологическая нейросеть заполняющая полости костей черепа, при получении информации от первоисточника (гугл, яндекс, бинг, дакдакго и иже с ними) ввиду прямой связи с вышеупомянутым контекстом.

[Владимир Куц]

Daemon23RUS, я тоже не вижу в этом смысла.

Answer 2

[Сергей Горностаев]

Google - это прежде всего инфраструктура, а не софт. Как только сможете позволить себе потратить десятки миллиардов долларов на постройку ЦОДов, можно и персональный Google будет завести.

Comments

[d'Ivan]

Насколько вообще реально поддерживать все ресурсы для поиска без рекламы или предложений каких-то услуг?

[Saboteur]

Иерокопус Таманский, настолько, насколько у тебя есть денег.
Дуров вот какое-то время телеграм поддерживал за свои.

[Валентин]

Иерокопус Таманский, ну построить ЦОД без оборудования и земли рассчитывается по цене 1 млрд руб / 1 МВатт. В 1 мегаватт влезет где-то 120 шкафов.

Answer 3

[shurshur]

Для того, чтобы просканить интернет, нужно для начала иметь список интернет-сайтов и страниц на них. Это уже огромный объём информации, которую поисковики накапливали годами и поддерживают в актуальном состоянии.

Но даже если такой список есть - по нему ещё надо пройтись. Потратив уйму времени на скачивания этих миллиардов страниц. И возможно в итоге получить 0 результатов. А на следующий запрос начинать скачивать всё то же самое заново повторно.

Надеюсь, общий ход мысли теперь понятен? "Персональный поисковик" имеет смысл в лучшем случае для поиска по ограниченному подмножеству сайтов. Вероятно, узкоспециализированной тематики. Например, занимаешься вопросами производства изделий из титановых сплавов, заводишь себе список сайтов по тематике: форумы, блоги, сайты производителей, сайты научных журналов по теме... И даже для такого имеет смысл строить собственный поисковый индекс, а не качать тысячи страниц на каждый запрос.

А искать по всему интернету в личных целях могут только настоящие поисковики. Ну вот можно разве пытаться их результаты обрабатывать и фильтровать, но это уже не будет поиск своими силами.

Comments

[d'Ivan]

Точно. Исходя из количества страниц в интернете трудно представить насколько персональным может быть поиск. Это наверное должно быть дико невыгодно и невыносимо долго для поисковика мечты. Именно по этой причине результаты почти всегда должны быть готовы заранее.

Answer 4

[Everything_is_bad]

такого нет, хотя теоретически возможно, покупаешь гугл, тогда у тебя будет такая возможность, а ну да, весь можно не покупать, только определенную часть, чтобы можно было осуществят минимально влияние на компанию.

Comments

[3Cube]

Слабо верится, что нет.
Я перелопатил много ресурсов, нашел кучу self-hosted поисковиков, но их цели избежать трекинга гугла, а не свой настоящий поисковик.

Печально, если умные люди не сделали этого до сих пор. Ведь сделали же Linux...

[Drno]

3Cube, как только Вы начнете просчитывать человеко-часы, и как следствие цену - вопрос почему нет отпадет)
Линукс монетизируется. А это слишком узкое направление. Тем более занятое

[3Cube]

YaCy с вами не согласится. Им нужно только добавить немного функционала...

[Василий Банников]

3Cube, что за YaCy?

[Владислав Лысков]

Василий Банников, https://yacy.net/ думаю это

[Владислав Лысков]

3Cube, ну да, пару функций допилить и можно хоронить гугл, а как красиво ребята начинали

[3Cube]

Владислав Лысков, Вы немножечко путаете теплое с мягким.

Технология одна и та же, только гугл монетизирует свой индекс и обслуживает триллионы запросов.
Для персонального "гугла" этого не требуется.
Тот же YaCy вполне хорошо работает в локалке, а вот с белым интернетом у него значительно хуже дела обстоят с настройкой источников поиска. Хотя казалось бы, ну убери ограничения у краулера с серых IP на белые и вот оно счастье...

[Владислав Лысков]

3Cube, не спорю, тогда поясните

[#]

3Cube, вы точно о масштабах не забыли?

Answer 5

[d'Ivan]

Можно вот так. Хотя чуток не дотягивает до уровня Гугля. Но не беда, ибо кода совсем мало и можно доработать под свои нужды.

Comments

[3Cube]

Да, читал на хабре про эти 80 строк, но это всего лишь 80 строк кода...

[d'Ivan]

3Cube,

но это всего лишь 80 строк кода...

да, но каких строк! Очень ёмких. Это нисколько не должно смущать.

[#]

Иерокопус Таманский, смущает питон, и предстоящие объемы..
(лаконичность и выразительность питона и создали его популярность, бесспорно.. но это интерпретатор..
ладно запросы - они тоже не мгновенны, но обработка результатов...

[d'Ivan]

#,
Разумеется. Поскольку он игрушечный и на нём можно делать много экспериментов, это даёт большой простор воображению для различных реализаций.

[d'Ivan]

Для тех кто не понял, фраза

Хотя чуток не дотягивает до уровня Гугля.

была написана в шутку.

[#]

Иерокопус Таманский, .. зал аплодирует ;))

Answer 6

[Руслан]

Есть проект YaCy

Answer 7

[#]

я бы выбрал другую стратегию.. типа ИИ экспериментирующего с запросами (а там много фишек синтаксиса запроса ;).. если владеете питоном (да в общем то любой язык с поддержкой функциональной парадигмы) .. думаю по дешевле будет ))
.. хотя поисковики борются с ботами.. но и пути обхода существуют ;))

Answer 8

[OCTAGRAM]

Я пользовался Яндекс.Сервером и где-то даже сохранил сборки для Windows и Linux. Умеет ходить по HTTP, качать pdf и в них искать. По прямому назначению это нужно использовать для своего сайта. У него обход один, и новая информация только после полного обхода появляется. Может петлять где не надо, и пока петляет, это всё считается, что обход не закончен, и инфа новая не появилась. Мне приходилось через прокси корректировать поведение, перенаправления свои ему вставлять.