Существует ли Телеграм-бот для Q&A ресурсов (как этот), и как может отнестись администрация к такого рода ботам для уведомлений?

Question

[Сергей П]

Переформулировал вопрос воизбежание нарушений правил ресурса.

Может быть есть универсальный бот для подписки на уведомления от подобных сайтов?
Как могут отреагировать владельцы Q&A ресурсов на создание такого рода ботов?

Речь идёт о телеграм-боте для подписки на уведомления о вопросах, ответах и комментариях.

Comments

[Шохрух Шаймардонов]

Подписался, сам задумывался поковырять апишку qna

[xmoonlight]

Шохрух Шаймардонов, +1

Answer 1

[Неисправимый Прагматик]

API нет.
Обращаю ваше внимание, что:
п. 2.3. правил данного Сервиса требует: Убедиться в том, что публикуемый вопрос не адресован представителям какой-то конкретной организации или какого-то конкретного проекта. Публикация вопросов, компетентно ответить на которые могут только представители конкретной организации, неизбежно приводит к провокации нарушений п. 3.4, 5.14 - 5.17 правил данного Сервиса. Помните, что для обращения к администраторам электронных ресурсов следует использовать предусмотренные этими администраторами каналы связи, например, если речь идет о данном Сервисе - форму обратной связи.
п. 3.1. правил данного Сервиса требует: Указывать только теги, имеющие непосредственное отношение к вопросу.
Теги API и TELEGRAM явно лишние в этом вопросе.

Comments

[Сергей П]

Следует ли мне удалить данный вопрос в этой формулировке?

[Сергей П]

Я переформулировал вопрос, адресовал вопрос сообществу, убрал ограничение на конкретный ресурс.
Вопрос касается спектра вариантов отношения администрации к упомянутой деятельности. Я понимаю, что даже в рамках одной организации могут существовать внутренние противоречия и разное отношение к данному вопросу.
Меня интересует именно опыт сообщества и возможные последствия.

Я удалил тег API из вопроса, но тег Телеграм оставил, поскольку вопрос касается именно этого мессенджера и его сообщества в первую очередь, в уж "Хабр Q&A" косвенно.

Спасибо за оперативную реакцию и своевременное предупреждение о нечаянном нарушении правил данного ресурса.

Answer 2

[Сергей Карбивничий]

Я парсил недавно. Правда спарсил не до конца, а до примерно 600000 вопроса(правда вопросов там 435 тыс., так как остальные удалены - спам и прочие). Интересно посмотреть было на вопросы по количеству подписчиков, ответов, просмотров и д.т. Если надумаете парсить, могу дать вам около 435 тыс. html страничек(от первого вопроса до 600000). У меня они в нескольких архивах, общим объёмом около 13 - 15 ГБ(и это они у меня в zip архивах!)
Есть идея вытащить оттуда время задания вопроса, время ответов(и даты разумеется) и провести статистику, в какой день(время) задают больше вопросов, когда больше дают ответов, и т.д.
Я парсил примерно по одному запросу в секунду, проблем не было.
Сортировка по подписчикам:

Comments

[Сергей П]

Спасибо, я подумаю над вашим предложением. Однако я собирался парсить не сами вопросы, а трекер и верхушку ленты для интерактивных уведомлений через бота. Почта в этом плане не так удобна.

Answer 3

[nokimaro]

В теории можно написать бота который будет парсить уведомления из вашего почтового ящика.
По сути ретранслятор уведомлений с почты в телегу.
Вопрос конечно в масштабах (для личного пользования или сервис для массы людей)
Это видится мне как вполне легальный вариант, так как все уведомления можно получать на свою почту и технически сайт парсить не придётся.

Comments

[xmoonlight]

Именно для этого я хотел свой почтовик на php сделать...
Но тут люди не далёкие - не поняли ничего...

[Сергей П]

xmoonlight, а зачем для этого писать свой почтовик, тем более на php? Вы ж не пишете свой nginx, чтобы сделать сайт или свою реализацию сокетов для использования TCP IP. Любой почтовый ящик вполне можно проверять программно.
Хотя далёким людям виднее, наверно

[nokimaro]

xmoonlight, не ясно зачем почтовик, когда можно использовать любой почтовый сервер (gmail, yandex, свой хостинг) и забирать почту по imap/pop3

[xmoonlight]

Сергей Паньков, nokimaro, не сам почтовик в полном его понимании функционала, а именно приёмник писем по smtp-протоколу.
Нет смысла их хранить, когда хранить не нужно, а можно обрабатывать "налету".
Нет смысла заводить отдельный сторонний сервис под это, который будет просто тратить время и ресурсы.
Юзать полноценный почтовик в таком случае - это всё равно, что из Питера в Мск ехать через Владивосток.

[shurshur]

xmoonlight, SMTP не нужно, тем более это адово сложно, в том числе с точки зрения борьбы со спамерами, которые способны любой такой скрипт положить. Достаточно просто в postfix (или его аналогах) редиректить почту в скрипт, который будет парсить письмо в MIME-rfc822.

Например, у нас были виртуальные ящики такого типа (строчка из файла aliases):

test-filter: "|/web/***.ru/main/libexec/mail/wrapper/wrapper.php filter/test-filter.php ***@***.ru"

Такие фильтры обрабатывали письма на ящики Errors-To: у писем из рассылочной системы, но не только. Например, у нас была форма сбора заявок на ключ для антивируса для подведомственных учреждений, учреждение заполняло нужные реквизиты, по cron запускался скрипт, который из storage анкетной системы доставал нужные данные и слал шаблонное письмо поставщику антивируса. Ответное письмо с ключом попадало в скрипт, который определял чей он и прикладывал в нужную анкету. В общем, такой вот пример автоматизации процесса.

[xmoonlight]

shurshur, Отличное решение, когда почтовый серв уже имеется или нужен именно как полноценный сервер.

А когда нет - можно и напрямую в порт получать и сразу обрабатывать (как я и делаю сейчас). Ничего сложного там в реализации нет.
Про спам - его просто быть не может, т.к. там сразу фильтр стоит. А главное - всё легко модифицируется и не требует какой-либо поддержки, в отличие от полноценного стороннего mail-сервера.

[shurshur]

xmoonlight, есть задачи, когда просто игнорить письма сложно, адрес будет засвечен везде, а обработка письма достаточно накладна по ресурсам, вот тогда лучше не костылять то, что уже хорошо сделали до нас.

[xmoonlight]

shurshur, Тогда - да. Согласен!

[Сергей П]

xmoonlight, я правильно понял, что вы предлагаете привязать весь букет хабра-сервисов к почтовому ящику, в качестве сервера которого у вас будет ваша поделка?
И это вместо того, чтобы вычитывать стандартными простыми средствами по imap или pop3 письма из ящика?
Ну.. такое себе решение.

[xmoonlight]

Сергей Паньков, "поделка"... хм... глупый землянин... скорость работы поделки в несколько раз выше скорости работы обычного веб-серва... всё упирается в мозг архитектора...

[Сергей П]

xmoonlight, А какой у вас получится лэтенси от события на сайте и до отправки ботом в телегу сообщения?
Понятно, что писать это не стоит, просто сделайте оценку, если не сложно.
Очевидно что будет быстрее, чем при запросе почты (а уж если там пересылка будет, то и подавно).
Как вы оцениваете трудоёмкость написания собственного такого вот специфического почтового сервера?

[shurshur]

Сергей Паньков, у каждого решения есть плюсы и минусы. Например, если просто редиректить почту в скрипт, то при глюках скрипта можно терять почту. В некоторых задачах это критично, в некоторых - наплевать.

Городить почтовый сервер действительно может быть сложно и затратно, ещё затратнее помимо почтового сервера городить к нему pop3/imap-интерфейс и заморачиваться с его защитой от ненужных глаз (firewall, сложные пароли, обновление при обнаружении уязвимостей итд итп). Зато, например, при сбоях заборщика почты сама почта останется в ящике, да и её можно оттуда не удалять после взятия на всякий случай.

В общем, нет универсального решения на каждый случай. Кому-то достаточно запустить скрипт в цикле, а кому-то надо полгода согласовывать защищённый контур с выделенными каналами и криптошлюзами. Задачи-то разные.

[Сергей П]

shurshur, ну я-то всё это понимаю и полностью согласен.
Срезюмирую.
Бот проверяет и парсит почту. Возможно на своём отдельном ящике, куда она пересылается пользовательским mail-сервером по фильтру. Плюсы/минусы:

+ бОльшая изоляция от вёрстки (хотя в письмах она всё же есть, но не так много);
+ меньше гипотетических претензий от администрации;
+ можно добиться поддержки множества пользователей без необходимости брать у них пароль от сайта и почтового ящика;
+ в целом менее сложный однофазный процесс;
- задержка между событием и приходом уведомления может быть значительной и нестабильной по времени;
- пересылка с личного ящика на ящик сервиса ещё удлиняет задержку и делает ее ещё менее предсказуемой;
- в рамках схемы никак не реализуется получения уведомлений о новых вопросах в ленте пользователя.

Бот парсит сайт. Плюсы/минусы:
+ быстро, задержка - секунды;
+ доступна вся полнота информации, включая ленту;
- придётся отдавать пароль от сервиса владельцу бота (если бот не свой личный, то это очень опасно);
- гипотетические претензии администрации;
- бОльшие риски изменений в вёрстке сайта с последующей поломкой парсера;
- для большого числа пользователей парсить сайт может оказаться труднее по трафику и времени, чем почту;

Ну такие себе альтернативы.
Мне кажется сервису стоит запилить бота самостоятельно.

[xmoonlight]

Сергей Паньков, коннектор нужен: парсер-чат-бот.

И сигналка к нему на апдейт контента на сайте.
Можно по размеру страницы: не изменился размер в заголовке - сразу же разорвать соединения без скачивания основного контента.

Частоту периодического опроса парсинг-ботом можно менять динамически от 30 секунд до 10 минут в зависимости от времени суток.

В целом, всё реально сделать без почты (сразу в базу сохранять из бота, при необходимости долгосрочного исторического хранилища), если реально заняться.

[xmoonlight]

Сергей Паньков,

А какой у вас получится лэтенси от события на сайте и до отправки ботом в телегу сообщения?

Общее время: время задержки парсера +[1-3сек]. Зависит от того, как быстро отработают сайт и телега.

Сам скрипт - точно отработает за время, менее секунды.

Затраты - я не знаю сложность бота для телеги. Остальное - крайне просто: регулярками.

[Сергей П]

время задержки парсера +[1-3сек].

Да я спрашивал про латенси на основе почты

[xmoonlight]

Сергей Паньков, ровно столько же.
Только ничего не парсим, а ждём письма на порту. Отсылается текст боту телеги сразу же после регекса(регулярки).

Т.е. обработка (после приёма письма на порт) в оперативке и отправка сообщения ботом в телегу - точно менее одной секунды.

Answer 4

[xmoonlight]

По идее - это называется паразитирование на ресурсе.

Не думаю, что они будут в восторге от этой идеи.

Comments

[Сергей П]

Но в Правилах я явного обозначения позиции администрации к этому вопросу не увидел.
Более того, паразитирование, на мой взгляд, имело бы место, если бы я как-то монетизировал информацию или бота, но мне он нужен исключительно из соображений личного удобства пользования ресурсом. Если бы был штатный "уведомлятор" для Телеграма, я бы пользовался им.

[xmoonlight]

Сергей Паньков, для этого нужно читать не правила, а соглашение.