最好的方法是使用解析器。
但是如果愿意，您可以迭代地简化输入字符串，直到不能删除更多的括号。
下面的代码片段是它的一个实现。用户的输入是真实的验证的：

function validate(expr) {
    expr = expr.replace(/\d+(\.\d+)?/g, "0")    // Simplify numbers to "0"
               .replace(/\s+/g, "")             // Remove white space
               .replace(/\B[+-]+(?=[0(])/g, "") // Remove unary operators (minus and plus)
               .replace(/[+*\/^-]/g, "-");      // Simplify binary operators to "-"
    for (let i = expr.length + 1; i > expr.length; ) {
        i = expr.length;
        expr = expr.replace(/\(0(-0)*\)/g, "0"); // Remove inner parentheses
    }
    return /^0(-0)*$/.test(expr);
}

// I/O management

const input = document.querySelector("input");
const refresh = () => input.className = validate(input.value) ? "ok" : "error";
input.oninput = refresh;
refresh();

.error { background: orange }
.ok { background: lightgreen }

Expression: <input type="text">

对于解析表达式，使用Shunting yard algorithm，可能需要一些扩展来支持函数和更多，例如我的实现here。