Как на erlang прочитать file.txt в массив, а потом записать массив в файл?

Question

[prog323]

Как на erlang прочитать file.txt в массив, а потом записать массив в файл?
Каждый элемент массива должен быть равен строке файла.
Строки файла разделены \r\n

Answer 1

[Rsa97]

Прочитать примерно так:

read_file_by_lines(Name, Mode, Array) ->
    {ok, Device} = file:open(Name, Mode),
    read_each_line(Device, []).

read_each_line(Device, Accum) ->
    case io:get_line(Device, "") of
        eof  -> file:close(Device), array:from_list(lists:reverse(Accum));
        Line -> read_each_line(Device, [Line | Accum])
    end.

Записать можно так:

write_file_by_lines(Name, Mode, Array) ->
    {ok, Device} = file:open(Name, Mode),
    lists:foreach(
        fun(Line) -> io:write(Device, Line)
        end, 
        array:to_list(Array)),
     file:close(Device).

Comments

[Сергей]

Мне кажется топик стартер немного не в терминологии. Под массивом он, наверное имел ввиду list() а еще лучше бы он имел ввиду binary().

[prog323]

@Rsa97 в Line -> read_each_line(Device, [List | Accum]) ругается на List добавлять - Line -> List = unbound, ? @begemot_sun нужна структура с которой можно максимально быстро работать (читать, писать, искать) массив или лист или ETS/Dets таблицы что рекомендуете?

[Rsa97]

Да, конечно же, там нужно [Line | Accum].
А что именно искать? В чём конечная задача?

[prog323]

@Rsa97 искать строки и числа, сам массив большой до 1gb может доходить и больше

[Rsa97]

Так может проще всё в базе данных искать?

[prog323]

@Rsa97 там уже пробовал - долго, быстрее в массиве в памяти

[prog323]

@Rsa97 как в этом коде чтения файла - каждую строку выводить на экран?

[prog323]

@Rsa97 желательно чтобы это вывод на экран был в новом потоке, то есть под каждую строку создаётся поток - в котором строка печатается на экран

[Rsa97]

Поток под каждую строку создавать никакого смысла нет, они всё равно на экран выводить смогут только по очереди. А с поиском - полнотекстовый поиск в MyISAM базе, на мой взгляд, будет быстрее, чем чтение из файла и поиск в памяти.

[Rsa97]

А вообще, Вы не самый лучший язык выбрали для полнотекстового поиска, erlang со строками работает не лучшим образом.

[prog323]

@Rsa97 а быстрее файл читать можно в память? io:get_line медлено читает = есть ли что то более быстрое?

[prog323]

@Rsa97 если не выводить на экран то - как правильно передавать каждую новую строку в новый поток ?

[prog323]

@Rsa97 то есть мне на каждую строку файла нужен поток

[Rsa97]

Только в виде binary, но тогда всё будет считано без учёта перевода строк одним блоком.

[prog323]

@Rsa97 спасибо понятно, а как для этого кода на каждую строку создать поток и в него передать строку?

[Rsa97]

Потоков в erlang нету, есть процессы. Просто описываете процедуру и вызываете её через spawn, она будет запущена отдельным процессом, примерно так:

-module(main).
...
do_something(String) ->
  io:format("~p~n", [String]).
...
start() ->
  spawn(main, do_something, "Hello"),
  spawn(main, do_something, ", world!").

[prog323]

@Rsa97 а как массив читать построчно? в read_each_line(Device, Accum) ? или когда он уже будет создан - тогда где и как?

[Rsa97]

Можете вместо добавления строки в массив просто вызывать spawn для её обработки, только учтите, что обратно никаких данных не вернётся, все процессы независимые.

[Rsa97]

А Вам надо его хранить? Если нет, то можете сразу при чтении строки:

read_each_line(Device) ->
    case io:get_line(Device, "") of
        eof  -> file:close(Device);
        Line -> spawn(main, do_something, Line),
                read_each_line(Device)
    end.

[prog323]

@Rsa97 получаю на каждый поток Error in process <0.30.0> with exit value: {undef,[{main,do_something,"строка1\n",[]}]}

[Rsa97]

А Вы процедуру do_something описали?

[prog323]

@Rsa97 вот весь код, что добавить?

-module(main).
-compile(export_all).

start() ->

io:format("start~n"),

{ok, Device} = file:open("c:\\1\\4.txt", read),
read_each_line(Device),

io:format("end~n").

read_each_line(Device) ->
case io:get_line(Device, "") of
eof -> file:close(Device);
Line -> spawn(main, do_something , Line),
read_each_line(Device)
end.

do_something (String) ->
io:format("~p~n", [String]).

[Rsa97]

Поправьте spawn на
spawn(main, do_something , [Line]),, тут моя ошибка, и замените -compile(export_all). на явное определение экспорта -export([start/0, do_something/1]).

[prog323]

@Rsa97 работает! благодарю! Вам удачного дня!

[Rsa97]

Скорее уже спокойной ночи :-)