Какой датасет лучше для обучения?

Question

[evomed]

Если я хочу чтобы нейросеть детектировала в тексте "продам единорога", мне нужно скармливать ей длинные тексты с шумом (500-700 символов) где в конце будет о продаже единорога или много коротких разных вариантов о продаже?

Answer 1

[rPman]

Данные должны быть максимально приближенные к рабочим, в идеале собрать сами рабочие данные.

Синтетика может дать неожиданные, часто плохие, результаты. Нейронки могут настраиваться не на те признаки, которые привык видеть человек.

Comments

[evomed]

Там проблема этот пласт материала обработать т.к. модерация не производилась. Сейчас нейросеть к отбору подключил получше стало

[Uno]

evomed, если модерация не проводилась значит датасета нет, а есть сырой набор необработанных данных
если это серьезная задача, а не домашка условно в вузе - проще использовать few shots learning с любой современной БЯМ.