Непонятно что ты собрался сделать здесь внутри. Если загрузить гигабайтный файл в один текст-контрол то конечно не получится. Контролы для этого не предназначены. Они не хранят гигабайты потому-что память дорого стоит для приложения.
FileReader reader = new FileReader("table.txt");
BufferedReader br = new BufferedReader(reader);
//jTextArea1.read(br, null);
//jTextArea1.requestFocus();
br.close();
Ошибка скорее всего в постановке задачи. Поставь задачу словесно. Что надо сделать. Может не надо отображать весь файл а только его хвостовую часть (последние 50 строк).
