tokenizer分词,tokenizer分词器

其中token为分词结果start_offset为起始偏移end_offset为结束偏移position为分词位置下面来看下SimpleAnalyzer分词器它只包括了LowerCase的Tokenizer，它会按照非字母切分，非字母的会被去除，最后对切分好的