1. У вас вместо <?php echo $product['cart_id']; ?> - <?php echo $product['product_id']; ?>
Это разные вещи.
2. cart.remove - функция удаления товара из корзины, а не уменьшения количества
3. Вам нужна функция cart.update
Первой переменной должна передаваться cart_id, второй новое количество.
Попробуйте что-то вроде:
<button onclick="cart.update(<?php echo $product['cart_id']; ?>, <?php echo $product['quantity'] - 1; ?>);" class="count-down"></button>
4. Добавление количества вам тоже лучше переписать аналогично. Оно у вас будет работать до тех пор пока вы не добавите товар с опциями.