Получилось ещё вот так:
"PORT|1|502" -creplace "(PORT\|\d+)\|(\d+)",'$1|500'
Но это какой то костыль все равно.
Проблема в том что в строке замены нельзя написать $1500 т.к. аргументы нельзя разделить (цифры объединяются) Может можно как то переменную указать вместо второго аргумента $1$port но так переменную $port не видно.