По каким правилам пересчитали рейтинг на данном ресурсе?

Question

[sim3x]

Дорогая редакция!

Крайне признателен за то бурное обсуждение пересчета рейтинга, что произошло за последний месяц. Прозрачность введения новинок достойная больших похвал

Страница описания начисления рейтинга так прекрасно оформлена, что просто обязана стать первой страницей рунета.

Сарказм ясен? Или редакция психанула из-за падения доллара?

Answer 1

[Natan]

Ранее несоразмерно большим весом обладало признание решеним. Сейчас больший вес добавлен понравившимся ответам и вопросам с подписчиками.

Максим Каракулов Решение вопроса = реальная помощь.
Шутки, сарказм и троллинг, которые ничем не помогают автору вопроса, на тостере часто набирают много лайков, о какой справедливости там может идти речь? Пожалуйста, не мешайте мух с котлетами.

Пусть вклад показывает только сколько решений помог найти пользователь, вот где хоть какая-то объективность и справедливость. А для замера симпатий к его ответам и интереса к его вопросам(подписчики), сделайте два отдельных счетчика и потом какие-нибудь достижения за количество данных ответов(комментатор), за сбор лайков и прочее добавите. :)

Сделали рейтинг (вклад пользователя) более справедливым. Чтобы за одинаковые по сложности достижения давалось одинаковое число очков.

По моему все получилось еще более не справедливо.

Ответы и решения, которые потребовали убить час времени на помощь неизвестному человеку, никто не лайкнет, кроме автора, да и тот не всегда(например, кусок кода написанный для чужого сайта, для ответа на тостере). И где тут справедливая оценка за сложность? :(

Подписчиков обычно набирают баяны, ответы на которые легко гуглятся.

Comments

[Максим Каракулов]

Ответ, представляющий собой один сарказм или троллинг, должен удаляться. Удаляется у нас любой контент сейчас благодаря накопелнным жалобам пользователей. Если же он не удаляется, а вместо этого набирает много лайков, значит сообщество пока не научилось отделять мух от котлет, не жмет кнопку «Пожаловаться». Тут требуется время, чтобы научиться с таким контентом эффективно бороться. Но что точно, тут импульс непрятия должен исходить от самого сообщества, а не от модератора.

[Максим Каракулов]

Найденное решение — крайне важно. Но и ответ, набравший много лайков тоже. Смотрите, когда ваш ответ становится решением, это значит, что вы помогли конкретному одному человеку. Это ваша личая с ним взаимосвязь. Если ваш ответ набирает много лайков (не рассматриваем случай, когда сообщество это делает вместо удаления), то вы помогаете сразу всем тем, кто лайкнул. Это ваша взаимосвязь с сообществом.

Нередко решением может стать не самый хороший или правильный ответ. Нередко ответ вообще не может стать решением (по причине вопроса или по недосмотру автора вопроса). Вероятность же появления лайков в таком вопросе гораздо выше. И если мы их будем учитывать с большим весом, то сможем выровнять ситуацию.

Сейчас у нас одно решение равно примерно трём-четырём лайкам.

[smanioso]

Максим Каракулов: почему выбрано такое странное название - "нравится"? Я вот не нажимаю эту кнопку даже на хороших ответах, потому что у меня возникает прямая ассоциация с навязанными Like из социальных сетей (лайкните нашу страничку на фейсбуке и получите в 2 раза больше спама).
Ну и воспользуюсь моментом - почему нет минифорума для обсуждения проекта? Текущий формат обсуждения нарушает правила, ЕМНИП.

[Максим Каракулов]

smanioso: мы думаем над назваем кнопки «Нравится». Есть идея называть её «Спасибо», чтобы более строго оценивать ответы. Но в этом случае число людей, которые могут нажимать «Спасибо» уменьшится. Поэтому есть неуверенность пока.

Для обсуждения проекта нужно пространство, это точно. Решаем пока, прикручивать сторонний сервис (типа Copiny или Reformal), или же создать такую систему на базе движка Тостера. У вас есть какие-то идеи на этот счёт?

[smanioso]

Максим Каракулов: честно говоря я как то ближе к техническим вопросам, чем к UX. Возможно, хорошим решением было бы обсуждение этого вопроса в рамках Хабра или какой-либо из ближайших открытых конференций с участием ТМ.
Сторонние сервисы прикручивать стоит только при наличии сквозной авторизации под текущей учетной записью. Лично я бы не стал тратить время на прохождение дополнительной регистрации, чтобы бесплатно помочь улучшить чужой коммерческий проект.

[smanioso]

Максим Каракулов: интересным примером фильтрации можно считать систему трибунала в League of Legends. В ней пользователю, чей вердикт совпадает с окончательным решением, начислялись определенные бонусы. Возможно стоит подумать о поощрении вклада при помощи кнопки "Нравится/Спасибо".
Хотя это уже больше похоже на game design.

[Максим Каракулов]

smanioso: О! Интересная информация про систему трибунала! А можете найти ссылку, где она объясняется? Я давно думаю о подобной системе для сообществ: чтобы поощрять самомодерацию, когда пользоватли сами принимают коллективно решения.

И не очеь понял, что вы имеете в виду, когда говорите «о поощрении вклада при помощи кнопки»?

[smanioso]

Максим Каракулов:
Базовый FAQ - euw.leagueoflegends.com/tribunal/en/faq
Патент на эту систему - https://www.google.com/patents/WO2013142492A1?cl=e...
Здесь тоже кое-какие интересные рассуждения - na.leagueoflegends.com/en/news/game-updates/player...

[Максим Каракулов]

smanioso: Спасибо!

[smanioso]

Максим Каракулов: по факту все мои знания опираются на то, что я "когда то читал и почти забыл". Но можно перенести в реалии Тостера это следующим образом:
1. создается вопрос
2. на вопрос дается 3 ответа
3. один из ответов получает большое количество "Нравится/Спасибо"
4. автор отмечает самый популярный ответ как "ответ на вопрос"
5. все, кто помогли отметить "хороший ответ" получают дополнительные очки в вкладку в развитие тега

После этого останется только одна вещь - объяснить пользователям, зачем им нужно вносить вклад. Самая тривиальная вещь, как я уже указал ниже, - это ссылка в резюме (наравне с GitHub).

[Natan]

Максим Каракулов

Ответ, представляющий собой один сарказм или троллинг, должен удаляться. Удаляется у нас любой контент сейчас благодаря накопелнным жалобам пользователей.

Не удаляется, может одной жалобы мало или у модератора рука не поднимается удалить, то что набрало прилично лайков, или поступает слишком много жалоб и модераторы особо не вчитываются в ответы, нет мата - не будем удалять.

Если ваш ответ набирает много лайков (не рассматриваем случай, когда сообщество это делает вместо удаления), то вы помогаете сразу всем тем, кто лайкнул.

Вот Вам парочка примеров, которые набрали много лайков и хоть чем-то помогли, всем кто лайки делал? ;) пример 1, пример 2

[smanioso]

Natan: можно было просто дать ссылку на профиль Пума Тайланд - его "лучшие" ответы пользуются популярностью ))))

[Natan]

smanioso тут дело не в конкретном человеке, у него есть и очень хорошие ответы, по делу.

[Natan]

smanioso:

почему выбрано такое странное название - "нравится"?

Смена названия тут не поможет. Если будет вместо "нравится", "согласен" или "поддерживаю", те же тенденции по лайку бесполезных ответов сохранятся.

[smanioso]

Natan: сложно говорить об этом без каких-либо полевых исследований.

[Максим Каракулов]

Natan. Тут безусловно никогда не может быть достигнута 100% чистота: когда чем больше лайков, тем более ценен ответ. Но можно стремиться к этому идеалу, и мы будем к нему стремиться.

Вот сделали жалобы, которые у каждого вопроса, ответа или комментария могут накапливаться. И модератор удаляет сейчас контент с 3 и более жалобами.

Тут нужно мотивировать пользователей помечать недостойный контент. Для этого есть наработка: включить усилия пользователя по модерации в рейтинг, помимо его вопросов или ответов.

Далее нужно вообще отказаться от решений модератора и все переложить на плечи самого сообщества. При досижении определенной интенсивности (которой пока нет), подобные неуместные ответы должны довольно быстро удаляться.

p.s. Я не буду удалять приведенные вами примеры. Дождемся в админке достаточного числа жалоб (=

[smanioso]

Максим Каракулов: вы хотите жалоб, но спрятали кнопку пожаловаться в подменю? Чудно.

[Максим Каракулов]

smanioso: мы хотим качественных жалоб от тех, кто уже в теме и кто погрузился в сервис достаточно, чтобы знать, где эта кнопка находится.

И потом мы же много чего хотим, нельзя всё это сделать равнозаметным.

[smanioso]

Максим Каракулов: это уже уровень неуважения к пользователю - "сделаем пользователю хуже, чтобы нам было лучше". Не надо так! Большинство пользователей на этом ресурсе взрослые и адекватные люди, которые в идеале освоили ВКонтакте и Google Chrome. В конечном итоге вы хотите добиться, чтобы эти пользователи бесплатно и качественно выполняли работу ваших модераторов 24/7.
На мой взгляд при стремлении к этой цели можно подумать об улучшении UX?

[Максим Каракулов]

smanioso: Давайте думать, как улучшить эту кнопку, и чтобы не во вред другим функциям было. Но практика показывает, что в любом сообществе всегда есть небольшая группа активистов (2-5%), которая готова помогать развитию сервиса безвозмездно.

Сформулирую иначе даже. В любом сообществе есть несколько ролей, которые можно на себя брать. Кто-то хочет давать больше хороших вопросов, кто-то затевает дискуссии с их авторами, кто-то любит правильную русскую речь и вносит бесконечные правки в чужие посты, а кому-то приятней заниматься именно модерацией. Причем какждый выбирает что-то одно, а другим может вообще не заниматься. своеобразное разделение труда возникает.

[Natan]

Максим Каракулов:

Вот сделали жалобы, которые у каждого вопроса, ответа или комментария могут накапливаться. И модератор удаляет сейчас контент с 3 и более жалобами.

Это не автоматически происходит? Потому что если это будет автоматически обрабатываться, то рождается широкое поле для накруток и умышленного вреда. Мультоводы и спамеры с пачками аккаунтов на тостере тоже бывают.

Тут нужно мотивировать пользователей помечать недостойный контент. Для этого есть наработка: включить усилия пользователя по модерации в рейтинг, помимо его вопросов или ответов.

И как отличить качественные жалобы от накрутки на все подряд? Даже если считать качественными жалобы которые привели к удалению сообщения, это не гарантирует объективность и отсутствие мошенничества с акками.

мы хотим качественных жалоб от тех, кто уже в теме и кто погрузился в сервис достаточно, чтобы знать, где эта кнопка находится

В таком случае не стоит исходить из минимум трех жалоб, нужно каждую рассматривать.

Answer 2

[Максим Каракулов]

Сделали рейтинг (вклад пользователя) более справедливым. Чтобы за одинаковые по сложности достижения давалось одинаковое число очков. Достижения у нас учитываются сейчас следующие:

• твой ответ стал решением,
• твой ответ нравится,
• на твой вопрос подписываются.

Отметка ответа решением по-прежнему считается самым большим вкладом. Но мы чуть больший вес, чем раньше, придали лайкам и подпискам. Одно решение стало примерно равняться трем-четырем лайкам. И то, и другое, одинаково сложно достичь по имеющейся у нас статистике.

Comments

[sim3x]

>примерно

чем вызвана такая "открытость"?

[Максим Каракулов]

sim3x: О чем вы?

Answer 3

[Sergej]

"Рейтинг-дрочер"? Хотя это справедливо, задроты всегда цепляются за рейтинги, достижения и т.д. Если бы тостер ввел медальки-достижения (ачивменты), то на тостере началось бы такое....

Answer 4

[Пума Тайланд]

Сказать честно до сегодняшнего утра не знал что есть рейтинг на тостере, боюсь даже спросить зачем он вам нужен то?

Comments

[Пума Тайланд]

У меня вроде толстый и длинный, но кому его продать ума не приложу.

[Сергей]

Ну как зачем - пальцы гнуть :)

[sim3x]

risovach.ru/upload/2013/03/mem/daaaa_13858483_orig_.jpg

[Пума Тайланд]

Ну если не продать его то остается только пальцы гнуть но тогда они болят

Answer 5

[smanioso]

Иван: Рейтинг-дрочер, карма-дрочер - давайте уже бросайте свои детские привычки к ярлычкам. Замените "Иван" на Фамилию-Имя, в подпись поставьте не пафосную ссылку на общеизвестный фильм, а что-то не "такое...". Слабо?

Тостер - это еще один плюс в резюме. Человек может дать ссылку на тег (допустим #github) вместо того, чтобы отвечать на глупые вопросы "что такое коммит?", "как часто вы делаете коммиты?". Вполне логично, что люди хотят получать определенную "прибыль" за контент, которым наполняют сайт. А лайки можно оставить для социалочек с котиками...

Максим Каракулов: то есть оптимальная стратегия игры на этом сайте - не давать лучшие ответы, а выдавать контент, который нравится пользователям? Окей...

Comments

[Максим Каракулов]

Оптимальная стратегия игры на Тостере — давать хорошие ответы на интересные для тебя вопросы. Подсчитываемый вклад, как вы сами заметили, это своебразная оценка полезности ваших усилий для сообщества.

Отметка ответа решением по-прежнему считается самым большим вкладом. Просто мы чуть больший вес придали лайкам и подпискам. Сейчас одно решение примерно равно трем-четырем лайкам. И то, и другое, одинаково сложно достичь (по имеющейся у нас статистике).

[smanioso]

Максим Каракулов: тогда не надо строить фразы таким образом:
Ранее несоразмерно большим весом обладало признание решеним. Сейчас больший вес добавлен понравившимся ответам и вопросам с подписчиками.
Думаю есть люди, которые как и я читают это примерно так: "решение было дороже, а стало дешевле лайков".
Вдобавок к этому, очень сложно достичь отметки о решении вопроса потому, что вопрошающие не несут ответственности за свои вопросы.

[Максим Каракулов]

smanioso: каюсь, действительно очень нечетко описал суть изменения и появилось второе неверное его толкование. Поправил свой ответ с учетом вашего замечания.

У отметки ответа решением много сложностей и нюансов есть. Я в другом месте написал: [v2] По каким правилам пересчитали рейтинг на данном ресурсе?

[sim3x]

Максим Каракулов:
>на интересные для тебя вопросы

Боюсь разочаровать редакцию, таких вопросов тут крайне мало. Подавляющее большинство ответов находится одним запросом в гугл