да по сути я бы с радостью. Ибо раньше именно этим и занимался. А так - я всего-лишь студент под руководством начальника, который под руководством еще многих верхушек и в целом под задачи этого проекта еще 5 других фирм. И вот щяс мне дали щяс конкретную задачу - сделать тестовые прототипы моделей с тестовыми данными, которые можно будет потом перенести под основные.
Для этого надо понять и разобрать основные алгоритмы ML ну и потренится в knim'e. 2е я уже сделал и разобрал что к чему. А вот первое не такая уж и узкая задача. Чтобы найти наилучшее решение, надо проштудировать все от и до, а это затратно по времени. Так что просто хочу сократить область "исследований".
Поэтому опять же конкретный вопрос, какой из алгоритмов машинного обучения подойдет лучше всего под эту задачу и почему?) - остальное уже за мной. Мне это в любом случае еще надо будет для универа и научной работы разбирать и учить углубленно.
sim3x, что понимать? Если машина классифицирует, что параметры 1...N имею определенные значения для выходного параметра на предикшен, то новые(неизвестные) должны классифицироваться просто в нужные полочки, ведь новые значения будут иметь не основной % "правильности". Это все же машинное "обучение".
Почти все, что читаю сейчас в книгах и англ научных работах как-то отличается от здешних высказываний.
Но опять же вы затронули тему, которую я специально попросил даже закрыть, ибо я знал - что речь пойдет о ней, а она "не важна", 0 смысла.
Единственное, что меня интерисует в моем вопросе - это применение алгоритмов под такой род задач = все. Больше ничего) Вы знаете алгоритмы?)
sim3x, и да 2 года по минуте = 1051200 строк. 2 года по секунде = 63072000. 1 месяц по 10 милисекунд = 259200000. То есть по вашему высказыванию, если сравнивать с минутами, то достаточно захвата данных где-то за 2 недели, но да ладно - это вторичное, так что лучше закрыть эту тему :D Если будет надо, достану, симулирую создам, дублирую. В Общем достану нужное кол-во
Нет, нагрузка формируется заказом
Нет заказа - нет нагрузки
Есть один заказ - он потребляет одит набор приборов, другой заказ - другой
Именно так сейчас это работает. И именно поэтому сейчас начался этот проект. => идем в будущее. Изменения))
А к сути: 2 года... Почему так много? Я понимаю, что волшебства нету, но судя по тому, что я пока-что читал, я не заметил такого упора, что на кластеры или создание каких-либо статистик нужны такие огромные данные. Да - чем больше, тем лучше. Но 2 года по 1 секунде на одни и теже циклы, где по сути нету огромных различий и даже при желании и большом времени можно было бы сделать и в ручную, но это мне пришлось бы сидеть месяц и вообще детально разбирать данные на каждую мелоч в идеальное понимание.
Мне пока-что больше всего понравился Desicion Tree, очень легкий и понятный алгоритм, схожий с традиционными подходами. Но не думаю, что это будет наилучшим решением для Экстраполяционных методов прогнозирования в машиннов обучении. <- и именно этот момент меня интерисует.
Какой алгоритм и почему он подойдет для этой задачи наилучшим образом, собственно и все :)
sim3x, Если интересно, цель: В зависимости от стоимости электричества, накопленных запасов и потребления этого электричества приборами основываясь на "часах дня", т.е. сами понимаете, нагрузка производства к примеру с 10 до 17 может быть пиковой, с 7-10 средней, с 17-22 средней, а с 22-7 вообще ближе к нулю. И вот на таких данных машина должна понять, когда и где можно оптимизировать нагрузки на основе переизбытка или нехватки, а так же стоимости электричества.
Там есть люди еще, кто этим занимается в серьез, моя задача скажем начальная, на уровне прототипов и рисерча хД
sim3x, ну за 25 перебор ) скажем так с этого момента парсить данные каждые 10 милисекунд на протяжении недели-месяца))
Но у меня же конкретный вопрос... Есть конкретная задача, данные и цель: Какие алгоритмы машинного обучения подойдут наилучшим образом для этой задачи? А дальше я уж сам :)
Ребят, я не профи в этих делах, я задал вопрос, а не пришел все таки отвечать сюда на неизвестную мне почти тематику по типу "в том же scikit-learn"...
п.с. использую Knime - иначе никак.
Сергей Горячев, ну она скажем так помощнее на много оффисных уже, но не дотягивает нормально до игровых, хотя и играть на них тоже можно довольно не плохо) В любом случае - такая карточка на долго, особенно если более для оффисных и граф. задач. Иначе же как и говорил и другие говорили - встроеной должно быть достаточно для ворда и фильмов)
John Smith, да но проблема, что в этом корпусе нету возможности поставить наверх. Но... С какой стороны на это еще посмотреть, на выдув сверху, который стоит ближе к заднице будет продуваться весь теплый воздух через радиатор, который и так будет горячим. Т.е. вывод - хуже для процессора.
В моем случае на вдув, будет браться свежий, прохладненький воздух и обдувать радиатор попадая в корпус, что хуже для график карты.
На остальное пофиг, и так и так свои плюсы и минусы.... ))
Толстый Лорри, это не отличный способ разобраться, он уже использует функции... Отличный способ был на операционных системах и микропроцессорах с ассемблером в универе хД Но это не начальный уровень, пусть пока делает так
string firstName, string lastName... stringToPrint = firstName+lastName
а когда разберется с основами, идет уже задаваться вопросами, мол почему это так? ибо имхо по самоучке это дикая потеря времени и возможно даже мотивации с желанием :D
Андрей Тарасенко, ну вот именно этим я к примеру и занимаюсь. Анализ биг даты, постонный разбор разных тематик (медицина, производство, энергия и бла бла бла) обдумывание алгоритмов для обработки этих данных ну и в итоге проэктирование и разработка подходящего ПО в этих сферах для "улучшения чего-то там".
Но как я слышал в России все, что связанно с биг датой в большом дефиците (в плане вакансий).
как ты себе представляешь скриншот того, чего не видно? Можешь написать прогу, которая будет сканировать определенные папки и сохранять названия, размер итд, по принципу версионирования. После чего так же сверять прошлое сканирование с новым и выводить результаты разницы. Это не трудно.
Denissitnikov, как замечаю, другие скорее жалуются скорее не на "дорого", а вообще на "найти нужных и надежных" специалистов, поэтому и делаю такой упор в рынок ))
По части всех пунктов, кроме 2 - проблем быть не должно)
AnneSmith, ну конечно можно еще просто 1 тыжпрограммиста нанять из заставить его работать по 12ч в день на все время)) Только я вот в таком случае нарисовал в коде ему множество многочленов и пошел отдыхать домой :D
Бизнесс - это не в первую очередь не айти скилл. У него были знания, деньги, знакомства - цель: сделать плагиат. - Скажем так, имея эти возможности в то время, вы бы такого сделать не смогли? Имея какой-то багаж (хотябы в пару лет) за спиной.
А так всегда умиляют истории про бил гейтсев, тим куков итп, мол они смогли и ты сможешь! бросай учиться, создавай новое :D
записывать просто нужно ключевые моменты, или то, что не понял, чтобы потом броработать снова. А то, что понял - с этим проблем потом не должно быть, такие вещи потом надо заучивать и закреплять практикой.
Евгений Комаров: да, поэтому эти нюансы и должны все на листочке записанны )) от вуза к вуза по разному, поэтому наверно и "универсального" нету. Комнаты же можно разделять по типам (лекции, семинары, лаборатории). Занятость преподов все же зависит от кол-ва учащихся, нельзя же набрать больше, чем можно. У нас как правило было так, слышал на кафедре психологии всего 80 мест, заявок более 2к каждый семетр, но если и брали, то 80 и не более. Если это работает и в том вузе, то и такие вещи можно алгоритмизировать.
Насчет среднеквалифицированного... ну не знаю. Я будучи работающим студентом наверно бы спрашивался с этой задачей в алгоритмическом и ПО плане (если учитывать 1 комп и 1 программу), если же думать уже о целых системах внутри универа, то тут без команды уже не обойтись, это да. Ну или длиться будет в разы дольше :D
И да... я же не говорю, что это будет "быстро"... ТАм скорее больше волокни будет с разговорами, планировкой итп, чем сама разработка.
Для этого надо понять и разобрать основные алгоритмы ML ну и потренится в knim'e. 2е я уже сделал и разобрал что к чему. А вот первое не такая уж и узкая задача. Чтобы найти наилучшее решение, надо проштудировать все от и до, а это затратно по времени. Так что просто хочу сократить область "исследований".
Поэтому опять же конкретный вопрос, какой из алгоритмов машинного обучения подойдет лучше всего под эту задачу и почему?) - остальное уже за мной. Мне это в любом случае еще надо будет для универа и научной работы разбирать и учить углубленно.