position: relative, input - даете дополнительную обертку для удобного позиционирования. Обертке и button присваиваете значение position: absolute и выравниваете обертку top: -n px, button - bottom: -n px.background-color: transparent, border: 1px solid #your-color.