Token

Определение токена: 简单来说，токен — это «минимальная единица», которую大模型 использует для понимания и обработки языка. В отличие от человека, который читает по «символам» или «словам», компьютеры по сути могут распознавать только数字。为了让机器处理文本，需要先将文字切割 и преобразовать в последовательность数字。