Александр Sqweez

Попробуй переписать часть с записью категорий в товары на:

Product::all()->each(function($product) {
    $productCategories = $categoriesProductMap[$product->vendor_code];
    $categoryIds = Category::whereIn('name', $productCategories)->select('id')->get()->pluck('id');
    $product->categories()->syncWithoutDetaching($categoryIds);
})

Если хочешь воспользоваться своим методом с проверкой категорий, то пользуйся Eager Loading

Аналог твоего Product::all(), только без проблемы N + 1 запроса.