C#. Как оптимально удалить переходы на новую строку?

Question

[Алексей Лебедев]

Есть строка около 20МБ.
В ней куча переходов на новую строку.
Я думаю насчет 2-х вариантов.
1)

int pos=result.IndexOf("\n");
              result=result.Remove(pos, 1);

Конечно все это в цикле.

2) result=result.Replace("\n", "");

Я пробовал на маленьких файлах, все равно не быстро.
Какой лучше? Есть ли еще более оптимальные варианты?

Answer 1

[aush]

@lam0x86 прав, операции со строками достаточно оптимизированы в .net и в очень редких случаях вам может понадобиться дополнительная оптимизация. Я проверил и result = result.Replace("\n", "") работает быстрее представленных вариантов.

На самом деле, Replace помечен атрибутом [MethodImpl(MethodImplOptions.InternalCall)], т.е. он оптимизирован на уровне CLR, так что врядли без какой-то специфичной оптимизации под вашу задачу и unsafe кода можно сделать его быстрее.

Вариант со StringBuilder из комментария работает, кроме специфичных случаев, в ~3 раза медленнее Replace, так что не стоит заморачиваться.

Comments

[lam0x86]

А теперь попробуйте подать на вход эдак 20-мегабайтный файл, состоящий исключительно из символов '\n'.
Советую не изобретать велосипед и использовать result = result.Replace("\n", "");
Либо

StringBuilder sb = new StringBuilder();
for (int i = 0; i < input.Length; i++)
{
  char c = input[i];
  if (c != '\n') 
  {
    sb.Append(c);
  }
}
result = sb.ToString();

Answer 2

[Андрей Панов]

public string FastReplace(string s){
        int len = s.Length;
        char* newChars = stackalloc char[len];
        char* currentChar = newChars;

        fixed (char* p = s) {
            var input = p;
            do {
                 if(*input!='\n'){
                    *currentChar++ = *input;
                 }
           } while (*(++input) != '\0');
           }
 return new string(newChars, 0, (int) (currentChar - newChars));}

Так быстрее

Comments

[aush]

Падает на строке длиной int.MaxValue / 1000.

[lam0x86]

Это вообще что за код такой? В C# никогда не использовались null-terminated strings. Ваш код не будет работать со строками, содержащими нулевые символы. А использовать unsafe-код без необходимости - дурной тон.

[Андрей Панов]

Когда разговор идёт о миллионах и миллиардах строк выбирать не приходиться. Aalebedev спросил про быстрый способ я его и предложил. А про строки с нулевыми символами, так предобработку данных никто не отменял.

[lam0x86]

Погорячился с тоном комментария, извините. И всё же, предобработка в данном случае имеет ту же сложность O(n), да и не понятно, в чём она должна заключаться? Даже если заменить все нулевые символы на что-то другое, нет никакой гарантии, что строка будет заканчиваться нулём. Видимо, из-за этого ваш код падает у @aush.

[Андрей Панов]

При работе с указателями на конце строки всегда будет нулевой символ(так как .Net при хранении использует его для обозначения конца строки). Дальше всё зависит от входных данных

Answer 3

[Ruslan Saiko]

Всё решается в четыре строки.)

string pattern= string.Format(@"({0})|\n", Environment.NewLine);
Regex rex = new Regex(pattern, RegexOptions.Multiline | RegexOptions.IgnoreCase);
string text = "Здесь нужный текст";
var NewText = rex.Replace(text, string.Empty);