Совсем упрощенно:
Функция - когда надо получить какой-нибудь результат. Например очистка номера телефона от паразитных символов (скобки, дефисы и т.п.)
Процедура - когда надо выполнить какие-либо действия. Как образчик абстрактный документ со строками, разные действия со строками документа (добавление, удаление, изменение) и пересчет документа.
MySQL не самый показательный в этом плане, в других вариантах - функции и процедуры используются активно.