Как можно реализовать такой механизм, в каком направлении идти, читать книги?
Есть программа( Далее - клиент ), которая будет подключатся к другой программе( Далее - сервер ) по средством TSocketConnection. Нужно реализовать сервер для этого клиента. Клиент будет вызвать функции у сервера. То есть сервер должен быть как OLE, но к нему нужно подключатся по IP с помощью TSocketConnection.
А вы уверены, что вам нужно через сокет и вы хотите еще какой то протокол велосипедить?
Сейчас такие вещи делают на RESTful API, а это обычно HTTP + JSON.
Если нужно сделать своё, то Apache Thrift тут выше советовали.