Попробуйте в вьюпорт поставить width=640px (т.е. нативную ширину, под которую вы изначально верстали.) Должно все ок стать. А вообще мобильные интерфейсы лучше в em делать и базовый размер шрифта в vw задавать (ну или js-ом его регулировать для старых девайсов).
