В MATLAB есть пакет для символьных вычислений, задачу можно решить в нём. Либо использовать численные методы для вычисления интеграла, доступные в MATLAB, например, функцию
integral (см. примеры использования)
Подробнее смотрите
справку по функциям интегрирования/дифференцирования).