Я так понимаю это задачка на завершенность скобочной последовательности. Решение не напишу, т.к. некогда, но идею подскажу.
Вам нужно завести 2 переменные для каждого типа скобок (квадратные,круглые)
var _square, _circle = 0;
после чего пробежаться циклом по каждому символу в строке, и если встречается:
[ то _square++
] то _square--
( то _circle++
) то _circle--
соотвественно если после цикла у вас _square и _circle равны нулю - то скобки закрыты правильно, что собственно и проверяете:
return !(_square || _circle);