Dot product - это частный случай inner product, например, в евклидовом векторном пространстве. Можно сказать, что dot product - это особенный inner product, определенный в пространстве R^n.
Геометрический смысл dot product связан с проекцией векторов друг на друга. Именно поэтому для ортогональных векторов a и b, (a, b) = 0.
Не знаю для чего вы тут упомянули векторное произведение (cross product), это вообще из другой оперы и не относится к заголовку вопроса. Оно определено лишь для трехмерного евклидова пространства (хотя существует и псевдо векторное произведение для двумерного пространства). Геометрический смысл таков, что результат векторного произведения векторов a и b - это вектор c, перпендикулярный и вектору a и вектору b одновременно.