ivodopyanov

Скорее всего, он и имел ввиду стохастический градиентный спуск. Там есть несколько приемов \ алгоритмов, которые позволяют ускорить его сходимость. Самый простой - использование момента.

В розовых мечтах "нейросеть для чатбота" - это seq2seq модель. Подали на вход реплику пользователя, получили на выходе реплику оператора. Можете читать инфу, начиная с самого термина seq2seq, и дальше про attention и transformer.

В суровых реалиях "нейросеть для чатбота" - это просто классификация текста (интента = о чем говорит пользователь в своей реплике) и дальше куча ифов, описывающих сценарий поведения чатбота. Плюс регулярные выражения/газеттиры/готовые библиотеки, чтобы выделить ФИО, телефон, адрес, урл и т.д.

Может быть, ошибка все-таки где-то в коде?
То, что модель сходится на одном и том же примере, ни о чем не говорит - она просто подстраивает bias на выходном нейроне. Входные данные не нужны, если на выходе всегда одно и то же.
Попробуйте инициализировать веса какими-нибудь известными значениями, самостоятельно посчитать выход/градиенты аналитически и сравнить с тем, что происходит при моделировании.

В одиночку стартапы не делаются. Большие компании продукты без оборота не покупают.

Правильный вариант - организуйте команду из 1-2 друзей (или можно к самому умному товарищу в группе подойти с серьезным предложением); сделайте MVP; убедитесь что люди хотят за него платить.
Потом можно податься в какой-нибудь акселератор типа ФРИИ, где вам расскажут что и как лучше делать дальше.

По идее, надо вставить reshape перед fully connected, чтобы привести (None, 10, 4, 32) -> (None, 1280)

ИТМО и СпбГУ дадут вам куда больше знаний, чем какие-то 2х-семестровые курсы по Data Science. Кто знает, кем вы захотите работать через 5 лет. А хороший универ - это хороший фундамент. Навыки и опыт получить легко, полгода-год. А время на очное обучение есть только пока тебя обеспечивают родители (no offence)

Смысла особого нет, т.к. все линейные коэффициенты будут учтены в последнем слое сети.
Т.е. можно оставить f(x) = sigmoid(x), тогда сеть сама обучится, что в конце надо домножать на -1 и прибавлять 1.

>> Проблема
>> Есть возможность потратить некоторую (большую) сумму денег на покупку компьютера для решения разных задач машинного обучения.

Всем бы такие проблемы :)
Похоже, вы еще не знаете, какие задачи будете решать, но уже пытаетесь под это оптимизироваться.
Конкретизируйте сначала постановку задачи.

Зависит от количества параметров в сети, которое, в свою очередь, зависит от количества слоев и их размеров.
Простые сети для классификации изображения или текста вполне можно на CPU обучать. Про видео - не знаю.

В финансах есть такая штука "технический анализ". Там прогнозируют курс вообще без всяких внешних источников, чисто по истории колебаний.

Слова\алгоритмы для работы с текстом: word embeddings, RNN, LSTM, CNN, Transformer (самый топчик сейчас)

Но вообще я бы на вашем месте все-таки попробовал более приближенную к земле задачу. В прошлом году появилась довольно любопытная архитектура\статья Neural Ordinal Differential Equations, которую в том числе можно попробовать применить к курсам валют\акций.

https://www.tensorflow.org/tfx/guide/serving

1. Использовать для этого CNN - это как нарезать хлеб, скажем, наушниками. Они немножко для других целей.
2. Изображение графика - это производная информация от исходных данных. Если вам надо решить задачу - работайте с данными в виде временной последовательности.
3. Даже я, смотря на график, не могу понять логики, по которой выделены зоны. С чего вдруг сетка поймет?
4. Keras, Tensorflow.

Если хотите попрактиковаться в машинном обучении, то взгляните на https://www.kaggle.com/

https://playground.tensorflow.org/
Тут можно поиграться с количеством слоев и нейронов в тривиальной сети и посмотреть, как эти параметры влияют на выразительность модели.

У меня есть такой проект. Я там использовал Tensorflow для ML + redis как in-memory database и message queue (т.к. ML тяжеловесный, и его лучше выносить в отдельный процесс) + Django.