Серьёзная математика разделяется на много областей, тут, наверное, имеют смысл только:
- Алгебра.
- Анализ.
- Геометрия.
- Дискретная.
- Возможно, логика, но это больше в плане подготовки к 1 курсу.
По алгебре стоит почитать Шеня и Гельфанда (гуглится). Там очень много, от сложения столбиком и до p-адических чисел. Это школьный уровень, дальше -- если хочешь круто знать математику, то Винберг, если освоить линейную алгебру универа -- Ильин-Позняк (профи-математики плюются, правда)), mathprofi, можно Беклемишева, но он нечитаем, имхо. Гайд по решению простейших задач линала универа -- Просветов.
Анализ... тут, наверное, порекомендую просто почитать mathprofi.ru для начала. Стандартно анализ в школе состоит из производной и интеграла на начальном уровне, имхо, имеет смысл учить сразу на более высоком уровне, так что сначала mathprofi, чтобы разобраться в основных определениях, дальше Зорича. Можно полистать Фихтенгольца. Дальше Лорана Шварца и лекции Львовского, но это реально очень высокий уровень.
По геометрии совет мне дать сложно. Впрочем, если говорить не о школьной, а о высшей, то Прасолова-Тихомирова "Геометрия". Дальше была какая-то отдельная геометрия Прасолова, может, даже "Сферическая геометрия", но не уверен. "Geometries" Сосинского, но это на английском. Ну и мне на мой скромный взгляд понравилось у Берже, но это очень-очень серьёзный уровень.
Дискретку, наверное, Хаггарти "Дискретная математика для программистов", можно ещё Новикова. Но тут у меня опыта меньше в знании книг :с
Логика -- Шень, Верещагин.
Общематематическое: Курант, Роббинс.
Можешь порешать листки 57 школы:
www.mccme.ru/~merzon/v14 , такой уровень в редком вузе есть.
Если в Москве, то забегай в НМУ (гуглится) на следующий год, если нет -- vk.com/clubium, посмотри лекции. НМУ действительно очень серьёзно апает математический уровень.
Если есть задача сдать ЕГЭ, то reshuege.ru
P.S. познакомился с "Mathematics for Computer Science" от MIT, очень понравилось, если английский не пугает, то очень советую. Гуглится.