Записывать таким образом можно только POD типы. А указатель делает твой класс не-POD.
Хотя на самом деле даже POD структуры записывать так просто не получится, ибо у структур (и классов, само собой) есть такое понятие, как выравнивание полей. И это самое выравнивание может отличаться на разных платформах, у разных компиляторов, и даже один и тот же компилятор может менять выравнивание в зависимости от настроек. А можно еще вспомнить endianess.
Как вариант, глянь в сторону protobuf, там все эти проблемы уже решены.