Как найти самое часто используемое слово в тексте?

Question

[eliasum]

Здравствуйте! Как найти самое часто используемое слово в тексте на C#? Какие могут быть подходы в решении задачи?

Answer 1

[Владимир Коротенко]

var text = "test the text test on test platform";
var words = text.Split(' ');
var stat = words.Distinct().ToDictionary(word => word, word => words.Count(x => x == word));
foreach (var (key, value) in stat) Debug.WriteLine($"Word: {key} count: {value}");

Comments

[edward_freedom]

это в какой студии такое работает? foreach (var (key, value) in stat) В 2017 у меня не хочет.
Твой скрипт тупанет, если после слова поставить знак

Word: Мама count: 1
Word: мыла count: 1
Word: папу. count: 1
Word: Мама, count: 1
Word: привет. count: 1

[Владимир Коротенко]

edward_freedom, Это 2019.
Впрочем этот кусок кода на самом деле только предлог для поговорить.
Знаки препинания, регистр символов, ну и главное использование памяти, представь что нужно пропарсить 10 гигов.

[Владимир Коротенко]

Developer, Да ладно, если он этот код не поймет и тупо скопипастит, срежут как копипастера, а если поймет, хотя бы узнает что такое linq, Extension, строки форматирования и decunstruction

https://csharp.today/c-7-deconstruction/

[eliasum]

Спасибо! А если для анализа слов нужно использовать Regex?

[Владимир Коротенко]

elijah eliasum, используйте кто же вам мешает, только смысл какой?

[eliasum]

Просто задание такое, что для анализа слов нужно использовать Regex

[#]

elijah eliasum,
1 - Regex тормоз по сравнению с целевой обработкой
2 - кто мешал указать в вопросе?.. ан нет

Как найти самое часто используемое слово в тексте?
Здравствуйте! Как найти самое часто используемое слово в тексте на C#? Какие могут быть подходы в решении задачи?

[#]

elijah eliasum, как подход, Regex для тех кто больше ни чего не умеет

[eliasum]

#, про Regex это да))

[edward_freedom]

#,
1. Тормоз.
2. ..явно.
3. Не.
4. ..Регекс.

1кк вызовов регекса

RunTime 00:00:00.31

Stopwatch stopWatch = new Stopwatch();
            stopWatch.Start();
            for (int i = 0; i < 1000000; i++)
            {
                var words = Regex.Matches(text, "(\\w+)");
            }
            TimeSpan ts = stopWatch.Elapsed;
            string elapsedTime = String.Format("{0:00}:{1:00}:{2:00}.{3:00}",
                ts.Hours, ts.Minutes, ts.Seconds,
                ts.Milliseconds / 10);
            Debug.WriteLine("RunTime " + elapsedTime);

1кк вызовов целевой обработкой (лол че за бред??)

RunTime 00:00:00.23

Stopwatch stopWatch = new Stopwatch();
            stopWatch.Start();
            for (int i = 0; i < 1000000; i++)
            {
                var words = text.Split(' ');
            }
            TimeSpan ts = stopWatch.Elapsed;
            string elapsedTime = String.Format("{0:00}:{1:00}:{2:00}.{3:00}",
                ts.Hours, ts.Minutes, ts.Seconds,
                ts.Milliseconds / 10);
            Debug.WriteLine("RunTime " + elapsedTime);

[edward_freedom]

#, и даже если эту задачу решить сплитом обычным, то он медленней регекса. Так зачем ты мозги пудришь новичкам?
RunTime 00:00:00.64

Stopwatch stopWatch = new Stopwatch();
            stopWatch.Start();
            for (int i = 0; i < 1000000; i++)
            {
                var words = text.Split(new []{' ', ',', ';', ':', '.', '?', '!'});
            }
            TimeSpan ts = stopWatch.Elapsed;
            string elapsedTime = String.Format("{0:00}:{1:00}:{2:00}.{3:00}",
                ts.Hours, ts.Minutes, ts.Seconds,
                ts.Milliseconds / 10);
            Debug.WriteLine("RunTime " + elapsedTime);

[Владимир Коротенко]

edward_freedom, Профайлер как всегда порешал

[#]

edward_freedom, обычно тебе вообще не стоит отвечать.. но..

переваривай код

using System;
using System.Diagnostics;
using System.Linq;
using System.Text.RegularExpressions;

namespace regex_or_not
{
    class Program
    {
        static void Main(string[] args)
        {
            var text = "test the text test on test platform";
            var sw = new Stopwatch();

            sw.Start();
            var words = text.Split(' ');
            var stat = words.Distinct().ToDictionary(word => word, word => words.Count(x => x == word));
            foreach (var (key, value) in stat)
                Console.WriteLine($"Word: {key} count: {value}");
            Console.WriteLine($"Real Job RunTime {sw.Elapsed:G}");
            sw.Reset();

            sw.Start();
            var d = new[] { ' ', ',', ';', ':', '.', '?', '!' };
            foreach (var w in text.Split(d))
                Console.WriteLine('\t' + w);
            Console.WriteLine($"Split RunTime {sw.Elapsed:G}");
            sw.Reset();

            sw.Start();
            foreach (var w in Regex.Matches(text, "(\\w+)"))
                Console.WriteLine('\t' + w.ToString());
            Console.WriteLine($"RegEx RunTime {sw.Elapsed:G}");
            sw.Reset();
        }
    }
}

и выхлоп

кеш прогрели! регекс идет последним, все халявное.. но...

ооочень есть о чем подумать. именно с точки зрения практического перфоманса (было тут недавно, кто то кусал за пятку )))
и еще - это замер в .Net Core, в котором Regex разогнали по сравнению с .Net 4.* (в котором ты мерял)

[#]

edward_freedom, подсказка - результатами надо еще воспользоваться.. упс?

[#]

edward_freedom, и блин.. ну C# явно не твое )))

Answer 2

[Developer]

Посчитать встречаемость слов и взять среди них то, которое чаще встречается.

Типичная задачка для студента или собеседования на определение способности кандидата к программированию