Короткий и внятный ответ сложно дать, потому что скалярное произведение вводится разными способами. Почитайте учебники. Самый простой, по-моему, Ильин, Позняк - "Аналитическая геометрия". Здесь формула для координат определяется через ("геометрическую") формулу произведения длин на косинус. В "Введение в алгебру, Ч. 2 Линейная алгебра" Кострикина через длину вектора как квадратичную форму (и формулу для координат как соответствующую билинейную форму) и формулу косинусов (из школьного курса) получается "геометрическая" формула. В общем случае скалярное произведение вводится аксиоматически через основные свойства, напр. в Александров - "Курс аналитической геометрии" (также см. определение в конце ответа).
На всё это можно смотреть как на описание ещё одного замечательного объекта из мира математики, который мы только открываем, а не выдумываем произвольным образом.
Интуитивно от себя, забудем о формализме и пофантазируем. Воспользуемся геометрическим определением вектора. У вектора есть направление (знаем углы между векторами) и длина. Пусть мы хотим вектора умножать как-нибудь, и пусть, как вариант, результат умножения - число (если результат - вектор, будем фантазировать как-нибудь по-другому). Обозначим умножение a на b через (a, b). Пусть умножение обладает свойствами коммутативности (или симметричности (a, b) = (b, a)) и линейности ((k * a + r * b, c) = k * (a,c) + r * (b, c), k, r - числа). Вместе с симметричностью и линейностью у нас есть билинейность - линейность по каждому аргументу.
Билинейность позволяет раскрыть наше произведение через произведение базисных векторов. Выберем стандартный базис из взаимно перпендикулярных векторов единичной длины. Обозначим их e1, e2 в двумерном случае. Тогда (a, b) = a1 * b1 * (e1, e1) + a1 * b2 * (e1, e2) + a2 * b1 * (e2, e1) + a2 * b2 * (e2, e2), в частности (a, a) = a1^2 * (e1, e1) + 2 * a1 * a2 * (e1, e2) + a2^2 * (e2, e2). Наше определение произведения станет согласованным с привычным определением длины |a| вектора через проекции по теореме Пифагора, если договоримся, что произведение является положительно определенным, то есть всегда (x, x) >= 0, и (x, x) = 0 только для нулевого x. Также пусть (ei, ej) = 1 только когда i = j, иначе 0. Получим (a, a) = a1^2 + a2^2 = |a|^2. Такое хорошее и удобное наше произведение и есть скалярное произведение - положительно определенная симметричная билинейная функция (форма). Формулу с косинусом можно вывести из этого определения с помощью школьной теоремы косинусов (см. Кострикин).
Работа силы вычисляется как произведение величины перемещения на проекцию силы на вектор перемещения. Так совпало, что "геометрическая" формула скалярного произведения подходит для вычисления работы, и, значит, подходит формула в координатах выше.