Tokens是啥?为啥大模型要按Tokens收费?
随着大模型的兴起,Token这种收费模式也逐渐被大家所接受。那么,为什么是这样收费呢?本文将深入解析Tokens的本质,探讨其在大模型中的作用,以及按Tokens收费的合理性、优势和未来趋势,供大家参考。
如果你用过ChatGPT、文心一言这类大模型产品,可能会注意到它们的收费方式很特别——按Tokens数量计费。这和传统软件按次数、按时间收费的模式完全不同。
为什么大模型对Tokens这么“斤斤计较”?Tokens到底是什么呢?
在大语言模型中,Token 是指输入文本的一小部分,它可以是一个单词、一个字符或者一部分单词。在不同的语言模型中,Token 的定义和处理方式可能有所不同,但基本原理是一致的:模型将文本分割成更小的单元进行处理和理解。
Tokens不是简单的“字”或“词”,而是大模型理解文本的最小单位。
特殊符号:标点、空格都可能单独算Token
举个例子:
“你好!今天天气真好。”(共8个字)
实际可能被拆成:你 | 好 | ! | 今天 | 天气 | 真 | 好 |。 → 8个Tokens
人类看文字是整体,但AI只能处理数字。Tokens相当于把文字转成数字编码的“桥梁”,每个Token对应一串数字(比如你=1024,好=2048),方便AI计算。
大模型运行的计算成本非常高按tokens计费是为了更精准控制资源使用这样的计费方式更加的透明和公平
传统会员制(比如包月)的问题是:轻度用户补贴重度用户。按Tokens收费后,偶尔用AI查资料的人不用帮天天写代码的土豪用户买单。
大模型训练成本极高(GPT-4耗资约1亿美元),按Tokens收费能让企业根据实际使用量调整资源,避免亏损,持续优化模型。
虽然,DeepSeek也是通过API调用,但这只是技术方式,而不是收费方式。不过,之前的API调用,业界默认的收费方式是按次收费,每调用一次,收取固定费用。简单来说,传统API像“按碗卖米粉”,一碗一个价;Tokens则是“按克卖和牛”,用得多就付得多。
除了按Tokens收费,市面上也有其他模式,但各有优缺点:
✅ 适合高频用户
❌ 企业可能亏本(比如用户疯狂薅羊毛)
✅ 简单直接
❌ 不公平(AI处理100字和1000字耗时不同)
✅ 适合明确需求场景
❌ 无法覆盖长尾需求
它最接近真实成本,同时让用户灵活控制预算(比如设置每月Tokens上限)。
Tokens的本质:文本处理的“工作量单位”,直接挂钩AI的算力成本。
下次用AI时,不妨留意一下你的输入字数——你花的每一分钱,都在为这些“文本颗粒”买单!
Q:目前我们随便用哪个大模型都是免费的,可以直接使用,那么这个token收费是哪方收费了呢。
A:目前虽然有一些大模型可以免费使用,但 token 收费主要是由大模型的服务提供商收取的。大模型的服务提供商主要是指那些开发、训练和部署大模型,并将其作为服务提供给用户的公司或机构。这些提供商通过自己的平台或接口,让用户能够使用大模型进行各种应用,如文本生成、自然语言处理等。
本文由 @贝琳_belin 原创发布于人人都是产品经理。未经作者许可,禁止转载
题图来自Unsplash,基于CC0协议
该文观点仅代表作者本人,人人都是产品经理平台仅提供信息存储空间服务