Можно перекрасить символы EOL в цвет фона, что сделает их невидимыми:
augroup NoText
autocmd!
autocmd VimEnter,Colorscheme *
\ exe 'hi NonText guifg='. synIDattr(synIDtrans(hlID('Normal')), 'bg')
augroup END
Продолжить нумерную колонку в своем цвете вряд ли возможно. Но ради красоты можно сделать иначе, задав общий фон (или близкий к нему), переопределив LineNr и CursorLineNr похожим образом:
augroup LineNr
autocmd!
autocmd VimEnter,Colorscheme *
\ exe 'hi LineNr guibg='. synIDattr(synIDtrans(hlID('Normal')), 'bg')
\| exe 'hi CursorLineNr guibg='. synIDattr(synIDtrans(hlID('CursorLine')), 'bg')
augroup END