Как сделать нестандартный border в CSS?

лучше влепить в DOM 4 span'а, родителю дать relative, а "спанчики" абсолютно отпозиционировать и у каждого span будет after и before для вертикальной и горизонтальной линий.

можно еще попробовать border-image-repeat - https://tympanus.net/codrops/css_reference/border-...
для него есть онлайн-генератор - border-image.com
можно поиграться