分词方法、装置、计算机设备及存储介质

著录项目

摘要

本申请实施例公开了一种分词方法、装置、计算机设备及存储介质，属于计算机技术领域。方法包括：对文本进行分词，得到多个第一词汇；通过大语言模型，对每个第一词汇进行特征提取，得到每个第一词汇的特征；基于多个第一词汇的特征，确定多个词组的相似度；确定每个词组的共现频率；将每个词组的相似度与共现频率进行融合，得到每个词组的组合概率；基于多个词组的组合概率，将组合概率最大的词组中两个第一词汇组成第二词汇，或者，将组合概率大于第一阈值的词组中两个第一词汇组成第二词汇。本申请能够捕捉文本中字符之间的上下文关系，以获取到更准确的词汇，保证分词得到的词汇的准确性，进而保证分词的准确性。

附图

附图 1