dmshar

Вопрос несколько странный ввиду реально НЕСМЕТНОГО количества книг по DS,
BD, ML вышедших в последнее время. На любых языках, для любого стартового уровня образования, с прицелом на различные инструменты. Берите любую и начинайте учить. Когда что-то станет ясно и захочется углубить или наоборот, когда что-то станет непонятно - ищете целенаправлено другой источник, в котором уже известная вам тема изложена глубже или яснее. И так двигаетесь, расширя свой кругозор в тема.
Если сложно самомунайти - есть уже составленные списки, например:
https://ru.stackoverflow.com/questions/Книги-и-уче...
Или
https://www.learndatasci.com/free-data-science-books/
И подсказок в сети тысячи - как, что и в каком порядке учить. Например:
https://proglib.io/p/learn-data/
Вот куча дополнительных ресурсов.
www.7wdata.be
https://www.datasciencecentral.com
https://datascienceplus.com
https://www.kdnuggets.com
https://www.analyticsvidhya.com
https://towardsdatascience.com
Удачи.
P.S. " стоит выбор между К.Доугерти "Введение в эконометрику" и Гмурман "Теория вероятностей и математическая статистика" - может ктото может подсказать принципиальную разницу между этими книгами?"
----> Принципиальная разница: Гмурман дает общую теорию, хорошую основу, универсальный учебник.
Доугерти больше ориентирован на специализированную нишу экономических и социальных задач.
Оба неплохи для изучения статистики на соответствующих специальностях в универе.
Начинать с нихсамостоятельное изучение я бы не рекомендовал. Лучше гляньте список и рекомендации, приведенные выше и из них выбирайте.

1. Анализ временных рядов.
2. Построение регрессионных моделей.
3. Классификация (всеми известными методами - от метрических и системы опорных векторов до использование деревьев решений, не забываем об использовании ансамблей методов)
4. Кластеризация и метод главных компонент.
5. Все то-же но на основе использования искусственных нейронных сетей.
Все подходят. Только надо понимать что, когда и как.
С порогом - ну это зависит от вашего начального уровня.

При чем тут классификация "по весу, по расстоянию"?
Есть задача классификации - т.е. отнесения некого объекта к одному из заранее заданных классов. Есть много "семейств" алгоритмов классификации, например на основании деревьев, но основании систем опорных векторов и т.д. и в том числе группа методов, основанных на метрическом представлении пространства описания объектов классификации. Упомянутый вами метод ближайших соседей - лишь один из методов последней из группы.
Методы данной группы работают по следующей схеме. Объекты представляются в виде векторов в N-мерном пространстве признаков, причем в этом пространстве должна быть введена некая мета близости/расстояния (что, кстати не во всяком пространстве возможно). Этих мер может быть много: известная и привычная мера Эвклида, Манхеттенское расстояние, мера близости Хемминга, расстояние Чебышева, расстояние Минковского, неметрическое косинусоидальное расстояние и т.д. Выбор конкретной меры - это вообще-то говоря нетривиальная задача, решение которой зависит от шкал данных параметров описания, семантики задачи и даже от конкретного метода классификации, который будет применяться.
Поэтому ответ на ваш вопрос может звучать так - данный метод может применяться везде, где прикладную задачу можно вложить в схему метода метрической классификации. Пример, который наверное все слышали - решение задачи диагностики онкологических заболеваний в система IBM Watson. Другой пример - распознавание вторжений в системах IDS. Предсказание кредитоспособности заемщиков - пример, который тоже у всех "на зубах". Выявление месторождений полезных ископаемых. Чуть не забыл - классика жанра - выявление спама.
Но на самом деле практических задач, которые решены этим способом описаны сотни.

Для работы с Big Data, Machine Learning и аналитики данных существует уйма различных инструментов - от Python до Watson, от RCPP до TensorFlow, от Tableau до SPSS, от RapidMiner до Hadoop.... Список можно продолжать и продолжать. Между прочим, даже тривиальный MS EXCEL имеет средства для большинства из указанных задач.
В принципе все задачи можна решать хоть на С++, хоть на Java хоть на Ассемблере. Вот, даже на JavaScript уже пишут нейронные сети. Вопрос - что именно вы хотите в конечном счете сделать, как глубоко понимать что именно вы делаете, как быстро вам надо проходить путь от постановки задачи к готовому решению, какие деньги вы готовы потратить на получение этого решения и какими начальными знаниями в области технологий программирования вы или ваша команда владеете.
Поэтому рекомендую обучение начать не с инструментов, а с идей, алгоритмов и методов, лежащих в основе задач Data Science. А по ходу - разберетесь, какой именно инструмент конкретно для вашего случая наиболее подходящий. И скорее всего, это будет не один какой-то инструмент, а несколько, которые в совокупности наиболее полно и эффективно покроют именно ваш круг потребностей.