переходит по моей ссылке вида: custom-protocol://mysite.com,
вопрос не в сервере, а в клиенте, обработка URL, т.е. открытие соответствующего приложения является локальной задачей, а дальше уже локальное приложение отвечает за то, куда направляется запрос, на какой адрес по какому порту, и что на том конце на сервере на этот запрос отвечает... web сервер работает только с HTTP(S), на то он и web, чтобы был реализован ответ на какой то кастомный протокол, надо чтобы на удаленной стороне соответствующий порт слушал кастомный сервер