⚡ Kotobotov ⚡

хех чувак, если бы обучающая и тестовая выборка были одинаковые, тогда можно было просто загрузить ответы из обучающей выборки в тест и не морочить голову, получив 100% верный результат.
смысл конкурса, научится строить модель которая работает в ОБЩЕМ случае, для любых примеров данных.
П. С.
ты свою модель подгоняешь под свои тестовые данные, в итоге если результаты на других тестовых данных получаются сильно хуже - то это говорит лишь о том что ты переподогнал свою модель под свои тестовые данные, и она хуже работает в общем случае.

Натравить можно, зарабатывать нельзя.
этож казино в привокзальном лохотроне, в котором ты проигрываешь всегда, не зависимо от используемой методики.

ну вот на пальцах например:
у тебя фотография эта делится например на 9 секторов
в каждом из них есть состояние например 1 или 0 (на состояние секторов ты не влияешь, а только оцениваешь)
допустим данные с этих секторов считывает один нейрон - после того как он считал состояние всех секторов он должен делать вывод - круг это или квадрат
этот вывод он делает на основе так называемой "решающей функции".
допустим решающая функция такая - если сумма всех значений всех секторов больше 5 - значит это квадрат если меньше то это круг (решающие функции могут быть сложнее, но важна сама суть поиска решений)
и суть такая ->
на сами входящие значения ты не можешь влиять, поэтому чтоб влиять на результат, ты можешь перемножать на определенный коэффициент входящие значения, и варьируя коэффициент умножаемый на входящее значение ты подгоняешь результат "решающей функции" под требуемый результат. Подгонка эта происходит через процесс называемый обратное распространение ошибки.
на входе 8 единиц (круг), в начале коэффициенты например равны единицы - сумма всех входящих значений умноженных на коэффициент - равна 8, ты проверяешь, соответствует она твой схеме (при которой круг это значения меньше 5) - нет 8 больше 5, значит ты понижаешь немного значения коэффициентов (обычно изменяют значения не сразу на необходимую величину а на небольшое значение, называемой лернинг рейтом) например на 0.1 (есть много других схем изменения коэффициентов), но вот из-за того что ты показываешь примеры с кругом и квадратом, то повышая на 0.1 значения активировавших нейрон входящих сигналов то понижая, у тебя выходит нужная схема, при которой при входе 8 секторов с единицами, 1 центральный ноль, у тебя сумма с коэффициентами выдает в ответе 4.8 например, что соответствует кругу, а значит коэффициент для всех входящих значений равен 0.6
П. С.
сама смысловая связь между каким-то классом, и значением больше 5 или меньше 5 - делает баесовская функция в нейроне, здесь же мы эти значения задали самостоятельно.

какого хрена на графике все параметры смешаны?
вполне очевидно что каждый параметр вносит влияние в модель с определённым весом, вам нужно подобрать веса для этих параметров.
начните с линейной зависимости, потом можно перейти на полиномы 2го или 3го порядка если уж вам так не терпиться.
вы же можете везде оценивать суммарную ошибку (стоимость), какая модель с меньшей ошибкой, такая типа и лучше.

хех людей даже с очень большим опытом работы за границей + большим пластом научных работ не берут. Реальность такова, что у нас практически нет никакой биг даты, и такие специалисты не нужны, те вакансии что висят, это так маркетинг, можете не обращать на них внимание, так же как и сам термин.
работайте со стартапами, разрабатывайте свои продукты и будет вам занятость.
P.S.
НО в целом сфера набирает популярность, спрос растет (устойчивый тренд), особенно в крупных федеральных компаниях.

плохая/хорошая - это же всё относительно, возьмите любой сервис сделайте лучше и предыдущая станет плохой).
Зачем вам заграничные сервисы?
если вы реально хотите построить рекомендационную систему, тогда вам нужно отталкиваться хотябы от тех данных что вам предоставляют, открывает ли сервис данные по предпочтению пользователей? чтоб потом какие-то рекомендации строить?
вобщем не замарачивайтесь возмите ВКшечку, и делайте рекомендации постов/новостей, например.

ну если хотите уберите не существенный текст -> соберите со всех документов общие наиболее употребимые слова, после чего предварительно удаляйте их из всех текстов, оставляя тем самым только наиболее специфичный текст.