1. Python. Объясню почему: он более-менее универсален. Интерес вещь хорошая, но он может закончиться, а жизнь как сложится - тоже заранее неизвестно. С питоном проще сместиться: хоть в web, хоть gamedev, хоть в прикладную разработку. Если же взять вместо него R или помянутый уже matlab - областей применения куда меньше.
2. Сперва школьная математика. Если с ней нет проблем, можно пытаться самостоятельно лезть в базовые вузовские курсы по теории вероятностей/комбинаторике/статистике. (Причем нужна именно статистика, но в нее сразу может быть слишком тяжело)
3. Конкретного ничего не подскажу, но на openedu есть много профильных курсов, бесплатно, должно получиться что-то подобрать.