Во-первых зачем вы .container вложили в .container-fluid?
А во-вторых, чтобы абсолютно спозиционировать относительно .container-fluid, а не .container нужно у последнего убрать position:relative.
Вы используете Bootstrap 4 , а в нём нет префикса -xs- , за extra small разрешение отвечает просто col-* , в вашем примере col-6, соответственно, чтобы сделать в одну строчку на данном разрешении нужно прописать col-12.
