если я буду переводить целиком предложение, он мне вернет не только ключевые слова, но и все предлоги и тдс помощью перевода можно обеспечить корректность переноса смысла. А уже переведенное предложение можно анализировать на лексическом уровне.
По расчетам база должны быть порядка 450ГБ
как вставлять по 100.000 строк в секнду
Использовать дословный перевод - не подходит, использовать семантический перевод предложения целиком - не подходит.Почему не подходит?
в большинстве случаев легче написать самому запрос, чем ковыряться среди ORMя не работал с ORM в Го. Только с расширением для SQL:
github.com/jmoiron/sqlx
Автора вряд ли интересует первые 25 постов
По секрету говоря, эффективнее брать "текстовую версию" форума
можешь сложнее структуру сообщения анализировать, выявляя цитирования и к примеру исключая их из текста (они занимают большую часть всего, дублируя многократно информацию).