SOLE_履程

帅气的我简直无法用语言描述！

文章1 网址0 书籍0 软件0 评论0

每天拆解一个AI知识点：Token（词元）什么是Token？Token 是大语言模型在处理文本前，把文本切分成的一种“最小语言单位”

每天拆解一个AI知识点：Token（词元）什么是Token？Token 是大语言模型在处理文本前，把文本切分成的一种“最小语言单位”

切分后的 token 会被映射为一个数字编号（ID），供模型理解和运算。 [气球R] Token 可以是：单个字符（如英文的 "a"、中文的 "字"）一个完整的词（如英文的 "cat"、中文的 ...

1个月前

000

没有更多了