Статистика для data science. С чего начать?

Влад Goncharov,
Спасибо за внимание к моей скромной персоне и моим ответам. Было бы странным, если бы я комментировал подобные вопросы по разному. Вначале - давал подробные рекомендации. Потом стал удивляться, как много людей не хотят самостоятельно трудиться/думать/искать/разбираться в теме, которая их (вроде бы?) интересует. Стал задавать себе вопрос - что это? Просто лень? Или нечто гораздо больше (хуже). Самое плохое то, что такая тенденция явно нарастает, что говорить о том, что эти свойства становятся все более распространенными среди молодежи (новичков).
Не знал, что тут при регистрации есть обязанность задать вопрос - когда я регистрировался, такого не было. Да я и не против по-сути "детских" вопросов. Но эти вопросы должны быть все-таки хоть чуть-чуть осмысленными, т.е. показывающими, что человек сам осилил хотя-бы пол шага сделать в выбранном направлении. А если это вопрос "найдите за меня и подайте сюда ответ", причем даже не по сути, а по элементарному поиску источников информации - то рано или поздно тем, кто действительно способен помогать другим и отвечать на вопросы (в первую очередь - действительно серьезные вопросы) станет тут безумно скучно. И они уйдут. Не знаю, кто от этого выиграет.

P.S. Гуглю конечно, как без этого, но в интернете же настолько много информации, что не знаю что выбрать. Вот и спросил совета у знающих. -
первая страница отклика Гуугл даст вам все что нужно для начала. А "знающие" потом (и то не факт) могут дать вам наводку на то, что лежит глубже, понимается сложнее и находиться труднее. Удачи.

Как осилить эту статью по компьютерной графике?

hint000, Извиняюсь, если задел чувства сантехника. Не хотел.
Но это не отменяет того, что для того, что-бы стать хорошим программистом знания языка более чем не достаточно. И программисты без надлежащего образования - это и есть те самые сантехники с четырьмя классами. Только более пафосные.
P.S. Кстати, у себя в загородном доме сделал всю сантехнику самостоятельно, собственными руками, с нуля - от скважины и до кухни, туалета, ванной, душа, трех бойлеров, разводки по саду и пр. Сделал после того, как уяснил себе, что и как могут сделать приглашенные как бы квалифицированные , как бы опытные, как бы профессиональные сантехники . Но это никак не заставляет меня считать себя специалистом в этом деле и уж тем более предлагать кому-то свои услуги. И если бы (не приведи Господь_ мне бы пришлось строить современный многоквартирный дом, разумеется, дипломированного инженера-сантехника я бы безоговорочно нанял.

Какие курсы выбрать для обучения на Data analyst/Data scientist с нуля?

aagzip, Ну да, после 35 жизнь закончена :-).
Вот, просто для размышления, ознакомитесь, во сколько лет люди начинали бизнес, который теперь известен на мировом уровне, очень познавательно:
https://blog.adioma.com/timeline-infographic-of-fo...
А стимулов к смене - не знаю, как карьеры, но рода деятельность - это точно, может быть великое множество. От "жизнь проходит мимо" до "хочу узнать и освоить что-то новое". А может - просто окно возможности открыться и остается либо рискнуть и "обновиться" либо не рисковать и "заплыть плесенью".
И, кстати, "смена карьеры" - это не обязательно "дауншифтинг", очень часто даже кардинально наоборот.

Какие курсы выбрать для обучения на Data analyst/Data scientist с нуля?

RepkaM, Я вас понимаю. Самому приходилось и в более позднем возрасте :-) учиться чему-то новому. Не кардинально, конечно (всю жизнь хотел стать врачем, это правда, да вот как-то нахальства/решительности не хватило дать столь крутой зигзаг). Но достаточно серьезно. Правда, при этом не приходилось делать дауншифтинг - в 47-49 в юниоры, в конторы, где в 30 уже синьоры - это очень решительно. И психологически - очень не просто. За своего - не примут, "поболтать" на одной волне - не с кем, отношение - снисходительно-насторожено-непонимающее....
В любом случае - удачи. И на "год с нуля без бэкграунда" - я бы все-таки не подписывался.

Что выбрать: информационную безопасность или программирование?

Специалиста по Check Point например.
1. Информационная безопасность не ограничивается знанием продуктов одной фирмы.
2. Не факт, что там куда ТС пойдет учиться он вообще эти продукты увидит или даже услышит.
3. К моменту окончания универа не факт, что не появится чего-то гораздо более лучшего.
4. Искать работу исходя из востребованности единственного продукта - как то очень "самоуверенно".
5. Хорошего безопасника найти действительно сложно. Но не потому, что безопасников мало, а потому, что хороших - мало. Хотя каждый считает себя спецом высшего класса, это да.
6. Ну и вакансий для безопасников на порядок меньше, чем для разработчика. Так что "меньше проблем" - это явно взгляд со стороны.
А в остальном - совет верный, да.

Какие статистические методы применимы к неслучайным величинам?

Алексей Черныш, Если курс какой-то валюты - величина случайная, то распределение значений этого курса должно приближаться к нормальному распределению, верно? - нет, не верно. Более того вам скажу, для нестационарных рядов -коими и являются временные ряды котировок - понятие "распределение значений" в прямой трактовке не применимо.

- то здравый смысл подсказывает, что она должна как-то решаться. - различными методами - от многомерных временных рядов с временными лагами до анализа выбросов. Но к предсказанию курса это не имеет никакого отношения.

Какую тему взять по информационной безопасности, чтобы можно было использовать мат. статистику (в рамках диплома)?

NataDori, Подойти-то подойдет, да вот только данных по теме ИБ на kaggle мягко говоря "не много". Посмотрите лучше тут:
https://scans.io/
https://www.quora.com/Where-can-I-get-the-latest-d...
https://arxiv.org/pdf/1903.02460.pdf

Есть ли обучение по профессии "нейросети и программирование"?

PyNen,

sim3x, Вы не знакомы с программированием.

Афигеть. И это говорит человек, который не совсем понимает, как создаются сайты "без cms" и что такое web-программирование (да и программирование вообще), что в реале требуется от кандидата при поступлении на работу - человеку, который имеет почти тысячу ответов в теме Python, за 400 - в web-разработке, почти по 200 в "Карьере" и "ИТ-образовании", и реальное, практическое качество ответов которого тут могли уже давно оценить все, кто хотел.
Да, в самомнении вам не откажешь, чего не скажешь про ваши знания. Впрочем, эту тему можно смело рекомендовать, как наглядный пример действия закона Даннинга-Крюгера.

Как вывести на экран список ребер, считанных из файла?

SergWaikat,

индексы этого элемента - узлы связанные данным ребром
- не понятная мне фраза

- вы это серьезно? Если да, то все сильно запущено. Но попробую растолковать в виде вопроса. Вот есть у вас матрице элемент, например, "21". На пересечении строки номер 6 и столбца номер 5. Если матрицу представить в виде двумерного массива, то номера столбцов и строк - это индексы нашего элемента в матрице. (Правда, в
Python индексы будут соответственно 5 и 4. Но раз вы поместили вопрос в этот раздел, то растолковывать "почему" надеюсь не стоит).
А теперь, внимание, вопрос: Что же означают эти индексы?

Кстати, список смежности формируется из матрицы смежности более чем элементарно - тем более для симметричной матрицы как у вас. В список смежности для каждой вершины I попадают те вершины J , для которых А[I][J] !=0.

Где найти типовое ТЗ на дизайн и на разработку мобильного приложения?

Владимир, Ну и слава богу, что с вАйной разобрались. Осталось понять, чем вам не угодили примеры приведенных ТЗ.

Как использовать ядерную регрессию для прогнозирования?

Строка

kernel_smoother(xx,yy,xi,kernel,h)

внутри kernel_forecaster.
Не вижу, где задается переменная kernel
Да и вообще, там какая-то неразбериха с параметрами, даже с их количеством - при описании и при вызове.

Как использовать ядерную регрессию для прогнозирования?

Программу, которой вы выполняете свои расчеты - в студию.

Какие есть книги по статистике на русском языке?

Cayrus90, Вообще-то я не совсем понимаю, как можно "пройти" три курса на Степике" и не уметь элементарно самостоятельно найти книги, которые более глубоко раскрывают интересующую тему. Ну разве что именно "пройти", а не "изучить".
Кстати, а по каким книгам вы "пробежались" и не нашли ответа - было-бы интересно ознакомиться.
Ну да ладно. Если такой поиск по каким-то причинам представляет супер сложную задачу - даю наводку на книги, каждая из которых содержит большинство из указанных вами тем. И главное - о чудо - на русском:
1. Барсегян, А. А., Анализ данных и процессов
2. Дьяконов А.Г. Анализ данных, обучение по прецедентам, логические игры, системы WEKA, RapidMiner и MatLab
3. Золотых Н.Ю. Машинное обучение и анализ данных
4. Леонов В.П. Обработка экспериментальных данных
5. Местецкий Л.М. Математические методы распознавания образов
6. Сегаран. Т. Программируем коллективный разум.
7. Флах П. Машинное обучение. Наука и искусство построение алгоритмов, которые извлекают знания из данных.
8. Эрве М. Путеводитель по применению статистических методов с использование R.
9. Грас Дж. Data Science. Наука о данных с нуля.
10. Шитиков В.К., Мастицкий С.Э. Классификация, регрессия и
другие алгоритмы Data Mining с использованием R.
Думаю, для начала должно хватить.
Удачи.

Как подобрать весы для нового изображения на входе в нейросеть?

Biba_neBoba, Простите, а вы про нейронные сети что-то вообще читали?
Работа с нейросетью для задач классификации разделена на два этапа.
Этап первый - "обучение нейросети". Вы скармливаете нейросети набор ваших обучающих данных, для каждого элемента этого набора известны перечень значений параметров и метка класса, к которому он принадлежит. По окончанию этого этапа вы получаете собственно обученную нейросеть, т.е. на понятийном уровне - значения весов связей между ее нейронами, а математически - некоторую сложную (возможно очень) функцию, заданную ее коэффициентами. Все, подготовка закончена.
Эта второй - "боевое применение". Обученная нейросеть используется для классификации новых объектов, т.е. таких объектов, о которых вы знаете только набор значений ее параметров. А нейросеть сама решает, к какому классу этот объект отнести.
Насколько "приближенным" будет ваш результат зависит от того, как вы обучили свою сеть на первом этапе и еще от того, насколько репрезентативна была ваша обучающая выборка.

Есть ли алгоритм "поиска решений" в Excel?

Николай Капитанов, Разумеется нет. А как вы себе представляете из браузера (на JS ведь) обратиться не просто к библиотеке на машине клиента, но и к его файлам? А если браузер работает поверх Линукса или Андроида, тогда как?

Каким методом можно восстановить пропущенные значения в матрице?

Denis,

если можно так выразиться.

Выразится можно как угодно, но восстановление отсутствующих значений функций имеет строгое определение , разработанный математический аппарат и продвинутую программную реализацию. Копайте в сторону терминов "аппроксимация", "интерполяция", "регрессия".

Наверное, наверное можно попробовать через решение системы линейных уравнений.

Наверное можно и попробовать, но лучше начать с изучения того, как-же с вашей задачей люди справлялись последние 150 лет. И справлялись весьма успешно.

Хочу стать аналитиком данных / специалистом по машинному обучению. Куда двигаться дальше?

Lega_go, Я не считаю книгу Флаха лучшей, более того, она - на мой взгляд - почти научно-популярная.
Но книг сегодня много. Ну, например, вот прямо из сегодняшнего обзора по книгам по Deep Learning:
ai-news.ru/2019/03/deep_learning_15_luchshih_knig_...
Вот обзор, включая книги по Маchine Learning
ai-news.ru/2018/10/podborka_resursov_po_mashinnomu...
Вот еще один постоянно обнавляющийся список
https://ru.stackoverflow.com/questions/678970/Книг...
А вообще в таких случаях всегда говорю - вы начните хоть с какой-нибудь книги. Хорошо пойдет - чудесно. Что-то пойдет не так - успеете перескочить на другую. Тем более, что "база" у вас уже есть. Это все равно лучше, чем сидеть и мечтательно раздумывать "а что лучше-что хуже", полагаясь на чье-то чужое мнение, авторитетность которого - вообще-то мягко говоря не ясна.
Удачи.

Чему можно научиться за 4 дня конференции по иб - "код иб"?

Roman, Прошел по ссылке, посмотрел три отзыва. Не понял, как на конференцию, до начала которой осталось 42 дня и для большинства докладов"тема доклада и спикер уточняются" (на 14 марта) можно получить отзыв типа: "Спасибо за конференцию! Узнал много нового, с удовольствием пообщался с коллегами." или "Полезно, информативно. Приглашайте еще! "

Нейронная сеть под мою задачу с чего начать?

Во-первых, кластеры - это и есть "заранее неизвестные группы".
Во-вторых, нейронки подходят не только для кластеризации.
В-третьих, к задаче ТС нейронки почти никаким боком, разве что - что-бы самому поупражняться. Но и для этого задача выбрано крайне неудачно.

Какие бесплатные антивирусы посоветуете на компы без сети?

АртемЪ, Как это не тяжело себе представить, вирусы появились задолго до появления интернет и даже тривиальных локальных сетей. И распространятся они могут не только через сети. В этом контексте "отсечь места поступления вирусов" это не только отключения от сети, но и отключения USB, CD, bluetooth и пр. приводов и портов. Что не всегда реально.