Готовых библиотек скорее всего нет. Ибо все используют REST интерфейс или официальные вызовы WooCommerce.
Как вариант через wp_set_object_terms update_post_meta добавлять товары. Но тут также будет задействована часть API wordpress.
https://lukasznowicki.info/insert-new-woocommerce-...
Если писать запросы напрямую в mysql, могут быть проблемы с корректной вставкой данных. Нужно очень много нюансов учитывать для такой низкоуровневой работы.
Возможно стоит выполнять все запросы параллельно. Например есть 100 категорий, берем первые 10 категорий и запускаем 10 экземпляров импорта. когда они выполнят импорт, брать еще 10.
Чтобы все намного быстрее было желательно запускать скрипты через терминал, без использования веб-сервера, как посредника.