tokenizer.tokenize,tokenizertokenize函数

对两个生成句和参考句wordpiece进行tokenize分别用bert提取特征，然后对2个句子的每一个词分别计算内积，可以得到一个相似性矩阵基于这个矩阵，我们可以分别对参考句和生成句做一个最大相似性得分的累加然后归一化。常见用法TEXT=dataFieldtokenize=#39spacy