Какую выбрать тему/проект для диплома?

Question

[Dveim]

Добрый день!

Вопрос мой несколько нестандартный, на SO его отмели, как несоответствующий правилам.
Ситуация такова: я студент 4го курса, в качестве общей темы для диплома выбрал data mining, конкретнее, recommendation systems. Год назад писал на эту тему курсовую, правда, больше обзорную, чем какое-то исследование.

Собственно вопрос: в какую сторону мне лучше копать дальше? Есть желание не просто сделать диплом и забить, а, по возможности, развиваться в этом направлении и дальше. Немного работал с такими вещами, как mahout и scikit-learn, но до этого писал немало своих велосипедов. В целом, из ЯП я неплохо знаю java и python, также знаком с haskell.

На какой-то масштабный проект у меня банально нету данных, а взять готовый data set и на его базе написать что-то - неинтересно и пройденный этап. (работал с www.informatik.uni-freiburg.de/~cziegler/BX)

Научный руководитель предлагает два варианта: либо углубиться в теорию, взяв какой-то узкий алгоритм, и попытаться его улучшить, либо поучаствовать в каком-то проекте для применения знаний на практике.
Также я размышлял над тем, чтобы помочь в меру своих скромных сил какой-то библиотеке (тот же scikit-learn, например), но тут есть ряд проблем.

Open-source проектов с уклоном именно в использование я не нашел, а вариант с углублением в теорию пугает сложностью, к тому же, популярные на данный момент проблемы так же требуют больших объемов данных.

Что можете посоветовать?

Answer 1

[ezavialov]

Я бы очень посоветовал вам взять одно из заданий с kaggle.com и добиться там достойного места.

Comments

[Dveim]

Великолепный сайт, спасибо большое.

[Dveim]

Займусь, вероятно, вот этим: http://inclass.kaggle.com/c/uci77B . Кажется, это то, что нужно =)

Answer 2

[Serious_Sem]

Я в Data Mining не знаток, но может вам помогут текущие темы с нашего университета. Посмотрите здесь: http://www.ke.tu-darmstadt.de/lehre/arbeiten/list

Comments

[Dveim]

Спасибо за ответ. Кое-как прочитал с гугл-переводчиком, сам я немецкий не знаю, дата сет с книжками в .de случаен =) Скажите, а эти работы (хотя бы самая первая в списке, про SVM) проходят на голой теории, или университет выделяет какие-то данные для диплома, или же студенты сами ищут?

[Serious_Sem]

Первая работа - это на бакалавра. Там даны две системы обучения, их надо оптимировать и сравнить. То есть какая-то имплементация уже есть. Обычно темы предлагаются и студент сам выбирает. Бывает, что нужно доработать существующую систему. Бывает, с нуля писать. Но цели более или менее обозначены с самого начала.

Answer 3

[Андрей Белов]

У Озона довольно невнятная система персональных рекомендаций, например. Можно попробовать сделать такую систему на основе их товаров/категорий и потом им предложить.

Comments

[Dveim]

Сама по себе задача интересная, но для похожих работ нужна уже имеющаяся база данных, которую вряд ли Озон предоставит левому энтузиасту.

[Андрей Белов]

Списки категорий и товаров с ценами, описаниями, производителями Озон отдает в XML. При желании можно также попробовать распарсить страницы Озона, чтобы получить дополнительную информацию о рейтинге, популярности, новизне товара, отзывах. А сами профили пользователей с историями покупок и прочиси характеристиками можно сгенерировать более-менее случайно. Если удастся распарсить, можно взять и реальные имена - тех, у кого есть отзывы с оценками товаров (отсюда берем - имя пользователя + оценку им конкретного товара).

[Dveim]

Я не совсем понял, откуда парсить оценки, в отзывах к товару только комментарии. Для многих алгоритмов критично знать точные данные, причем в больших количествах. Кстати, а почему система рекомендаций "невнятная"? Вроде такая же, как у Амазона.

[Андрей Белов]

При каждом отзыве есть оценки - звездочки слева. Можно поискать и дополнительные источники для генерации профилей (Я.Маркет или что-нибудь еще). Под невнятной системой рекомендаций имею в виду вот это: https://www.ozon.ru/context/myadvice/ Сужу просто по тем результатам, которые она мне выдает - результаты совсем непривлекательные.

[Dveim]

Хм, спасибо, попробую заняться парсингом данных, хотя лучше сразу с Я.Маркета, там хоть апи есть. Правда, есть сомнения в так называемой "научности" темы как для диплома, надо будет проконсультироваться с научруком. К сожалению, не могу видеть, что выдает Озон на странице персональных рекомендаций за неимением аккаунта там. Теоретически, более-менее точный прогноз по новым категориям (не по тем, где были покупки ранее) возможен лишь при немаленьком числе уже сделанных покупок.

Answer 4

[Mark Adams]

Точна такая же ситуация сейчас...