Token（词元）是大语言模型（LLM）处理和理解文本的最小基本单位， Tokenizer 负责将人类的自然语言文本拆分为 Token，并将其转化为对应的数字编号。