тут дело не в адаптивности, а в том что браузеры по-разному округляют значения пикселей.
например был у вас блок 300px, вы покрутили масштаб и один браузер посчитал его новую ширину как 132px, а другой как 133px. и все поехало. поэтому тут нет смысла что-то подстраивать.
ну, а если вам это все же обязательно нужно сделать - то отлавливайте через js pixel density (или другой рпизнак изменения масштаба) и меняйте стили в зависимости от браузера.