Почему считает неверное количество символов в строке на кириллице?

Question

[maxwellum]

Здравствуйте. Занимаюсь правкой одной CMS, возникла такая проблема: есть функция strLenCalc на javascript для подсчета количества символов в строке, при его превышении автоматически обрубается лишнее. С английскими буквами все работает как надо, но кириллические символы считаются как 3 за 1. Например, в слове Hello 5 символов, а в слове Привет 18 символов.
Вот сама функция и связанные с нею:

function strlen(str) {
	return (BROWSER.ie && str.indexOf('\n') != -1) ? str.replace(/\r?\n/g, '_').length : str.length;
}


function mb_strlen(str) {
	var len = 0;
	for(var i = 0; i < str.length; i++) {
		len += str.charCodeAt(i) < 0 || str.charCodeAt(i) > 255 ? (charset == 'utf-8' ? 3 : 2) : 1;
	}
	return len;
}

function mb_cutstr(str, maxlen, dot) {
	var len = 0;
	var ret = '';
	var dot = !dot ? '...' : dot;
	maxlen = maxlen - dot.length;
	for(var i = 0; i < str.length; i++) {
		len += str.charCodeAt(i) < 0 || str.charCodeAt(i) > 255 ? (charset == 'utf-8' ? 3 : 2) : 1;
		if(len > maxlen) {
			ret += dot;
			break;
		}
		ret += str.substr(i, 1);
	}
	return ret;
}

function strLenCalc(obj, checklen, maxlen) {
	var v = obj.value, charlen = 0, maxlen = !maxlen ? 200 : maxlen, curlen = maxlen, len = strlen(v);
	for(var i = 0; i < v.length; i++) {
		if(v.charCodeAt(i) < 0 || v.charCodeAt(i) > 255) {
			curlen -= charset == 'utf-8' ? 2 : 1;
		}
	}
	if(curlen >= len) {
		$(checklen).innerHTML = curlen - len;
	} else {
		obj.value = mb_cutstr(v, maxlen, 0);
	}
}

Comments

[alexalexes]

С какой кодировкой хотите совладать, и чем вам:
console.log('Привет'.length);
не угодил?

[maxwellum]

alexalexes, с utf-8.

[alexalexes]

А, вам в байтах нужно, а не в символах.
Тогда так.
console.log(new Blob(["Привет"]).size);
Если не нужно старые браузеры поддерживать, то этого хватит.
Если у вас корпоративный софт, который требует IE8+ поддержку, то могу посочувствовать.

[Lynn «Кофеман»]

Это кто вам такой ахтунг написал?

new TextEncoder().encode('Привет').length
// 12

[Lynn «Кофеман»]

Или так

function mb_strlen(str) {
    return encodeURIComponent(str).replace(/%../g, '.').length;
}

Answer 1

[Олег]

И в чем неправильность ? длина строки в байтах в кодировке UTF-8 больше числа символов.
0-127 как 1 байт.
128- 255 как 2 байта
русские символы по три байта на символ
почитайте про кодировку .

Comments

[Lynn «Кофеман»]

С какого перепугу у русских букв три байта? Всю жизнь два было. Почитайте про кодировку utf-8

[Олег]

Lynn «Кофеман», муська вачары .

To save space with UTF-8, use VARCHAR instead of CHAR. Otherwise, MySQL must reserve three bytes for each character in a CHAR CHARACTER SET utf8 column because that is the maximum possible length. For example, MySQL must reserve 30 bytes for a CHAR(10) CHARACTER SET utf8 column.

CMS нет смысла считать по честному.

[Олег]

А так вы правы первый байт 208 или 209 и второй уточнение

[Lynn «Кофеман»]

Олег, тогда код автора тоже не имеет смысла и надо просто длину строки умножать на 3 независимо от того какие там буквы

[Олег]

Это не код автора, а легаси на которое он наткнулся в каком-то древнем движке.
Может костыль лет 15 назад написанный. Предположить могу, что в базу через одно место стали совать ютф , а сменить типы полей не было возможности(поленились).
АХЗ.