Хорошо подходят книги Пенроуза, если не зацыкливаться на его филосовских идеях.
Начать изучение стоит с теории множеств - без нее вся остальная математика остается переписыванием формул.
А дальше - что интересно: алгебра (начинать лучше с теории групп), геометрия (топология), матлогика, дискретная математика, статистика.