Артем

Вероятнее всего, транзакция не фиксируется.
Для экспорта-импорта лучше всего использовать специализированные инструменты типа https://sypex.net/ или на худой конец mysqldump - но никак не MySQL Workbench и прочие клиенты.
Очень много нюансов при восстановлении дампа - от правильного порядка восстановления последовательностей и индексов до соблюдения таймаутов и помещения в транзакцию определенной порции данных, а не всей таблицы.

Не upgrade, а update.
Делайте в рамках одной транзакции.

Посмотрите в логи, что гадать?
Роботов очень много сейчас, поэтому вполне может быть

столько роботов за пару часов

stackoverflow.com/questions/12087519/how-to-query-...

В принципе, любая современная БД справится с хранением указанного объема данных.
Вопрос в том, что именно вы хотите делать с этими данными.
Если накапливать, редко обращаться и скорость выборки не имеет большого значения - то сойдет любая SQL-БД.
Если накапливать и обращаться часто и быстро - нужно смотреть в сторону NoSQL-баз.
Если нужен полнотекстовый поиск - нужно смотреть в сторону ElasticSearch и/или Lucene.
В общем, нужно ориентироваться не на объем хранимых данных и индексов, а на конкретные задачи.

Вы в WinForms что ли пытаетесь это всё сделать? Не лучше ли задуматься об ASP .NET?

P.S. Используйте ORM вместо таких вот странных простыней кода. К примеру, Dapper.

Раз вы все равно не работали с эластиком - посмотрите лучше в сторону Solr. Он тоже сделан на основе Lucene, но порог вхождения пониже. И есть встроенные средства для импорта из MySQL.