Написал небольшое решение который добавляет теги к выделенному тексту. Проверил только в FF. По хорошему, его нужно будет допроверить, но возможно, направит вас в нужное направление.
Решение - на jsfiddle.net

и тут для дублирования:

// Доваляем <textarea id="text" rows="3" columns="3"></textarea>
var text = document.getElementById('text');
text.addEventListener('keydown', function(e) {
	if (e.ctrlKey && e.keyCode == 66) {
    	  if (text.selectionStart != undefined) {
    	    var startPos = text.selectionStart;
    	    var endPos = text.selectionEnd;
    	    var selectedText = text.value.substring(startPos, endPos)
    
            if (selectedText) {
              var v = text.value.substring(0, startPos);
              v += '[b]' + selectedText + '[/b]';
              v += text.value.substring(endPos);
         
              text.value = v;
            }
         }
     }
});

детали см. на stackoverflow.com