1) Если вы хотите исправить ошибку - покажите ошибку. Не зная что у вас в файлах, какие настройки БД и что именно выдает скрипт в результате исполнения, остается только гадать. А экстрасенсы в отпуске.
2) У вас не совпадает количество открытых и закрытых кавычек. Вообще всю строку можно закрыть одной парой двойных кавычек "" - операции с переменными в ней отработают, в отличие от одинарных кавычек ''.
$cmd.CommandText = "LOAD DATA LOCAL INFILE '"$csvfile + $File.Name"' INTO TABLE `test`.`csv` FIELDS ENCLOSED BY '"' TERMINATED BY ';' LINES TERMINATED BY '\n' IGNORE 1 LINES;"
3) Могу предположить, что $cmd.CommandText и $cmd.ExecuteNonQuery() должны быть $conn.ExecuteNonQuery() и $conn.CommandText, иначе после открытия соединения вы к нему не обращаетесь в принципе.