Александр

(s.split('(') !== s.split(')')) || (s.split('[') !== s.split(']')) || (s.split('{') !== s.split('}'))

Это если подвхождения не учитывать, с подвхождениями - в рекурсии проверяете каждый элемент массива s.split