Простой язык — понятие растяжимое. С моей точки зрения, все хорошие популярные книжки о математике написаны достаточно простым языком. Но у меня врожденный логико-математический склад ума.
В любом случае,
math.ru/lib — хорошая отправная точка. Отдельно рекомендую Якова Исаевича Хургина. Ну, Мартина Гарднера вы наверняка и без меня знаете. Раз уж упомянул Гарднера, упомяну и Реймонда Смаллиана.