Не пользоваться google drive
Правда сервер так или иначе потребуется, с другой стороны тебе хватит даже если это будет твой смартфон (
достаточно будет поставить termux и в нем уже доставлять нужные пакеты), а дальше на выбор, либо git складываешь на своем смартфоне и дома и на работе синкаешься с ним до и после работы (как минимум это точно не создаст проблем так как это штатный режим работы git), либо используй rsync, он будет работать поверх ssh.
Гугл находит посты народа, которые говорили что syncting с git проблем не имеет, т.е. точно так же на смартфоне или стороннем сервере ставишь syncting, так же на комп и ноутбук и синхронизируешься, все будет само выбирать путь синхронизации, либо по локальной сети либо через смартфон (то что будет быстрее то и используется)