Похоже на тротлинг, перегрева мостов нет? Можно пальцем проверить, если проц на 100, видео на 50, повысить настойки видео, нагрузка должна выровнятся, попробуйте физикс перенести на карту
Нужена будет как минимум точка входа, апи или форма, парсер - наверное самое сложное, так как ссылок прямых не будет, скорее всего какая то авторизация, сервер с большой кучей памяти, хотя лучше жёсткий диск больше и качать на носитель. Думаю такое сделать за день можно.
id_user в первой и name_user во второй
Ну и на 10000 записей хотя бы проверять