Как решить проблему ограничения кол-ва символов в SOLR?

Question

[Snoz3f]

Приветствую, есть вот такая схема:

<field name="text" type="text_en" default="" indexed="true" stored="true"/> 
  <field name="text_exact" type="keyword_content" default="" indexed="true" stored="true" />
   <fieldType name="keyword_content" class="solr.TextField" omitNorms="true" positionIncrementGap="100">
      <analyzer type="index">
        <tokenizer name="keyword"/>
      </analyzer>
      <analyzer type="query">
        <tokenizer name="keyword"/>
      </analyzer>    
   </fieldType>

   <copyField source="text" dest="text_exact" />

Я подключил keyword analyzer для точного поиска, но по какой-то причине solr плюется ошибками в виде:

bytes can be at most 32766 in length; got 60746. Perhaps the document has an indexed string field (solr.StrField) which is too large

Как это можно пофиксить? И возможно ли вообще?

Comments

[d'Ivan]

Я не разбираюсь в кухне Solr, но интересно зачем выбран тип keyword для текста? Он же не предназначен для этого, по идее?

[Snoz3f]

Иерокопус Таманский, вот проблема в том, что по идее это можно сделать через обычный string, но опять же, не хватает кол-ва символов

Answer 1

[Snoz3f]

Для своего кейса решил тем, что просто использовал white space tokenizer

Answer 2

[mayton2019]

Интересно. Вот тут пишут про похожий инцедент https://stackoverflow.com/questions/24019868/utf8-...

Answer 3

[al_gon]

Надо использовать тип solr.TextField если solr. String не хватает. String действительно лимитированн до 32.766.

Да, и нет смысла подлкючать какой-либо токэнайзер на поле по которому ищете 1:1.

Comments

[Snoz3f]

Так в схеме же он и используется? class="solr.TextField или я что-то неправильно понимаю? Ну еще не совсем 1:1 ищу, есть поле имеющее большое кол-во текста, в текущем варианте, если в запросе ввести конкретное слово, то он подкидывает тексты с похожими словами, но не с нужными

[al_gon]

Snoz3f, У Вас в описании всё ок.

Но что с полем text_exact? Как оно выглядит?

[al_gon]

Нет, не всё ок.


2 поля с одинаковым названием.

[Snoz3f]

al_gon, поправил ошибку

[al_gon]

Snoz3f, ok
что с type text_en?

[al_gon]

как выглядит type text_en?

[Snoz3f]

al_gon,

<fieldType name="text_en" class="solr.TextField" positionIncrementGap="100">
      <analyzer type="index">
        <tokenizer class="solr.StandardTokenizerFactory"/>
        <filter class="solr.SynonymGraphFilterFactory" synonyms="index_synonyms.txt" ignoreCase="true" expand="false"/>
        <filter class="solr.FlattenGraphFilterFactory"/>

        <filter class="solr.StopFilterFactory"
                ignoreCase="true"
                words="lang/stopwords_en.txt"
            />
        <filter class="solr.LowerCaseFilterFactory"/>
        <filter class="solr.EnglishPossessiveFilterFactory"/>
        <filter class="solr.KeywordMarkerFilterFactory" protected="protwords.txt"/>
        <filter class="solr.PorterStemFilterFactory"/>
      </analyzer>
      <analyzer type="query">
        <tokenizer class="solr.StandardTokenizerFactory"/>
        <filter class="solr.SynonymGraphFilterFactory" synonyms="synonyms.txt" ignoreCase="true" expand="true"/>
        <filter class="solr.StopFilterFactory"
                ignoreCase="true"
                words="lang/stopwords_en.txt"
        />
        <filter class="solr.LowerCaseFilterFactory"/>
        <filter class="solr.EnglishPossessiveFilterFactory"/>
        <filter class="solr.KeywordMarkerFilterFactory" protected="protwords.txt"/>
        <filter class="solr.PorterStemFilterFactory"/>
      </analyzer>
    </fieldType>