Вам нужен центральный репозиторий, в который вы сможете загружать ваши новые правки с помощью git push (с любого компьютера), и из которого сможете загружать их в любое место, где у вас этот репозиторий склонирован, с помощью git pull. См. раздел
о работе с удалёнными репозиториями в документации по Git.
Вообще говоря, git позволяет работать и в полной децентрализации, но это в общем случае менее удобно.
Так вот. Самое простое — воспользуйтесь услугами Github, хранить у них репозитории получается надёжно и недорого.
Или, если вы готовы сами отвечать за резервирование и прочее, то разместите так называемый bare-репозиторий прямо у себя же на сервере.
На практике последовательность действий, которые вам нужно совершить, описана
здесь.
Вкратце — создаёте bare-репозиторий, загружаете на сервер, и указываете его адрес в качестве origin у себя в локальном репозитории (а также в любых других местах, где есть этот репозиторий — например, у вас же на сервере):
git remote add origin ssh://server.com/home/username/git/exampleproject
Кроме того, тот же самый адрес репозитория можно использовать для того, чтобы клонировать его на других компьютерах:
git clone ssh://server.com/home/username/git/exampleproject
При этом remote при клонировании выставляется автоматически.
А вообще, настоятельно рекомендую прочитать
документацию по git, прогуглить интересующие вопросы, пройти
вот такое короткое введение, и, поверьте, станет резко проще и понятнее.