Как на регулярной основе получать списки всех Telegram каналов?

Question

[Олег]

Здравствуйте.

Хочу получать списки телеграмм-каналов по принципу telemetr.me, tgstat.ru или telega.in.

Я не знаю, как это реализовано в этих сервисах, но могу представить 3 варианта:

1. Пользователь сам добавляет свой канал к сервису (но я точно знаю, что это не единственный вариант, потому что на том же Telemetr есть мой канал, который я не добавлял)
   
2. Владельцы и админы сервисом в ручном режиме добавляют все каналы самостоятельно (тогда вопрос времени, ибо каналов если не 1.000.000, то точно больше 500.000 и только в России; и вопрос данных: откуда они знают, что такой канал существует и его можно добавить в базу?)
   
3. И третий вариант, самый логичный: где-то есть база всех каналов телеграмм, к которой можно подключиться и с которой можно работать.
   

Вот, собственно, третий вариант меня и интересует.

Кто сталкивался? Кто реализовывал этот вопрос в своих проектах?
Как это реализовать в моём случае через Python, либо же Telegram Api, либо ещё как-то?

Comments

[shurshur]

Конкретно tgstat.ru как основной источних поступления новых каналов использует форму на сайте, которую может заполнить любой пользователь (не только владелец). Сам Телеграм он не сканирует.

[Олег]

shurshur, т.е. какой-то общедоступной базы каналов телеграмм не существует?
Все сервисы работают в ручном режиме?

[shurshur]

Олег, любой человек может создать канал, если на него нет нигде ссылок, то о нём никто и не узнает. Поэтому полный список каналов получить невозможно.

Сервисы типа tgstat нацелены не на все каналы, а на каналы, которые публикуют контент и кем-то читаются. Поэтому ручное добавление их устраивает.

[Олег]

shurshur, вы исчерпывающе ответили на мой вопрос, спасибо!

Answer 1

[garbagecollected]

Все уже реализовано telegram-groups-crawler

Comments

[Олег]

Интересно, спасибо!

Только не могу понять: он берёт данные из каналов, на которые Я подписан (или бот)?
Или в принципе каталог всех каналов в Телеграм?

После инициализации и "Please enter the code you received:" ничего не происходит.
(код подтверждения Я, конечно же, ввел)

[garbagecollected]

Он ищет в подписанных каналах (или в заранее составленном списке каналов) ссылки на другие каналы и так рекурсивно ходит по всему телеграму.

[Олег]

garbagecollected, о как, хорошо, спасибо, Я поизучаю!

Answer 2

[Dimonchik]

если не 1.000.000, то точно больше 500.000 и только в России;

500к вы и сами себе нагенерите, толку от них без людей?

Comments

[Олег]

Мне нужно не создать каналы, а получить существующие каналы.
Я привел в пример сервисы по типу Telemetr специально.

Я хочу получить базу Телеграм каналов, чтобы сделать себе свой каталог со своими фильтрами, которых нет в других сервисах.

Например, Я ввожу ключевое слово "Тесла" и мне выдаются все каналы в Телегам, где есть "Тесла" в заголовке. И уже дальше работа ведётся с этими каналами.

[Dimonchik]

я объясняю что 500к нах никому не надо, живых сильно меньше и задача решается

но в целом ее решают парсингом - перебором

[mayton2019]

Вы ходите кидать таргетрованные рекламы в 500 тыщ групп? Да кому это надо? Эти технологии уже не работают. По крайней мере опыт фейсбука показал.

Верно говорят что живых очень мало.

Если будете делать такой список - то берите хотя-бы где больше 1000 активных мемберов. И тегируйте их по тематикам. Да и вообще при таком подходе даже ваш список не нужен. Просто ищите по ключевому слову и группы будут найдены. Одноразовое дейтвие. Что хотите автоматизировать собирая пол-мильона групп - непонятно.

[Олег]

mayton2019, комментарий не по тематике вопроса.

Задача: понять, как собирать каналы Телеграм.
Рассуждения по типу "работает ли технология", "хорошая ли идея" и тому подобные не к месту.

[mayton2019]

Олег, я предлагаю вам еще попрограммировать клеточные автоматы. Это - очень интересно и увлекательно. И польза - примерно такая-же как от списка всех телеграм каналов.

Как вам идея?