Данные варианты уже были предложены, но их можно объединить в один.
В эксель получаем необходимые УРЛ с помощью формул.
С помощью формул пишем запрос на добавление записи в базу.
Копируем полученные запросы из поля SQL_Insert и выполняем запросы к базе. В моем случае общение с базой происходит через Navicat.
Результат
Еще один вариант. Коннектимся к базе с помощью Management Studio.
Выбираем нужную таблицу - кликаем правой кнопкой - выбираем
Изменить первые 200 строк
Далее выделяем нужные ячейки в эксель с помощью Ctrl-C и вставляем их в базу Ctrl-V.
Важно чтобы порядок столбцов в экселе совпадал с порядком отображаемых столбцов в базе.
При данных манипуляциях в первый раз лучше попробуйте вставить одну запись, чтобы убедится что формат данных в экселе совпадает с типом данных в полях таблицы.