Например так:
Добавляем псевдоэлемент, который поернут на 45° и у него две видимых границы.
.bubble {
width: 20em;
border: solid 1px gray;
padding: 1em;
margin: 1em;
background: yellow;
position: relative;
}
.bubble:before {
content: '';
width: 20px;
height: 20px;
background: yellow;
position: absolute;
bottom: calc(0% - 11px); /* size + border */
left: calc(50% - 10px); /* size */
transform: rotate(45deg);
border-right: solid 1px gray;
border-bottom: solid 1px gray;
}
https://jsfiddle.net/0Lsbypav/