|
要理解大模型为啥按Tokens收费这个问题，我们先得知道到底什么是所谓的tokens？ “Tokens”常见释义为“代币；令牌；标记；符号” 。在计算机领域，它常指用于标识或验证的一种机制；在加密货币领域，通常指各种 数字代币； 而在语言学中，“Tokens”指语言符号，在语料库语言学里，“tokens”是“形符”，即文本中出现的所有词的个数。那么在自然语言处理技术领域，简单来说，Tokens（词元）是文本处理的基本单位，也可以简单理解为模型“理解”文本的 最小片段。Token的划分方式取决于具体模型采用的分词策略。在某些情况下，如果使用了字节对编码（BPE）或者其他形式的子词分词方法，某些汉字或词语可能会被拆分成多个更小的部分，从而占据更多的token。如腾讯混元大模型1Token ≈1.8个汉字，通义千问1Token ≈ 1个汉字，而英文 1 Token可能对应3-4个字母或一个单词。自然语言Token化的过程，技术上叫做 Tokenization，即为将输入文本拆分为模型可理解的离散单元，它直接影响模型的计算资源和响应质量。在中文中：一个汉字通常为1个Token，但组合词可能拆分，比方说 “人工智能”可能拆为“人工”+“智能”。 而在英文中：一个单词可能对应1个Token，如 “apple”，有可能是多个Token，如“ChatGPT” 拆为 “Chat” + “G” + “PT”。 理解了Tokens是啥了以后，我们就好理解为什么按tokens收费是比较合理的原因了。 大模型的运行涉及高昂的计算资源消耗（如GPU/TPU算力），而Token数量直接决定了处理文本所需的计算量。按Token计费能更公平地量化不同长度文本的实际成本。例如，处理1000万Token的长文本所需算力远高于短文本，按量收费可避免“一刀切”定价的弊端。Token计费将输入和输出的文本统一折算为可量化的单位，例如输入1k Token + 输出2k Token = 总费用3k Token，这样一来，用户可直观控制成本。相比之下，传统API按次收费（如每次0.01元）无法区分简单查询与复杂任务的资源差异。另外，大模型的研发、训练、部署和维护成本极高，如训练成本可达数千万美元。按Tokens收费能分摊这些成本，尤其是推理阶段的实时算力消耗。但Tokens计费并非唯一模式，部分厂商采用混合收费，比方说：订阅制+按Tokens 付费，或针对轻量化模型提供免费额度。目前Tokens定义缺乏统一标准，不同模型的中文Tokens对应字数不同，可能导致跨平台成本差异。但总体而言，Tokens作为“AI世界的数字货币”，已成为大模型商业化中最主流的计费方式。
|
