token应该翻译成什么？

宏. · 发表于 2024-6-4 20:05

黄老板前几天发布会翻译的是“词元”，感觉并不准确

还有翻译成“令牌”或者“口令”的，更离谱了

或许应该翻译成“智节”或者“智元”？

红炉灰 · 发表于 2024-6-4 20:05

代币~~衍生物~~

—— 来自 samsung SM-S9110, Android 14上的 S1Next-鹅版 v2.5.4

FUZE · 发表于 2024-6-4 20:08

提示: 作者被禁止或删除内容自动屏蔽

screeper · 发表于 2024-6-4 20:08

NLP领域的token翻译为词元没毛病，其他行业就说不定了

Hydro · 发表于 2024-6-4 20:08

看语境，两种语言间找不到完全对应的词很常见
假如token是“衍生物”，那么tokenizer是不是“衍生物化器”

ChengChung · 发表于 2024-6-4 20:09

用于不同场景的翻译可以有所不同吧
你要说是放在语言模型里，词元这个翻译就很合适
你要放在权限管控、网络架构上，令牌就很合适

smishe · 发表于 2024-6-4 20:09

红炉灰发表于 2024-6-4 20:05
代币~~衍生物~~

—— 来自 samsung SM-S9110, Android 14上的 S1Next-鹅版 v2.5.4

下意识用南京话念了出来

—— 来自 S1Fun

Jet.Black · 发表于 2024-6-4 20:12

screeper 发表于 2024-6-4 20:08
NLP领域的token翻译为词元没毛病，其他行业就说不定了

其实是指标志或者标记。

词法分析，就是把标记序列化的过程。

dffgf · 发表于 2024-6-4 20:12

提示: 作者被禁止或删除内容自动屏蔽

WIZARDMK2 · 发表于 2024-6-4 20:13

红炉灰发表于 2024-6-4 20:05
代币~~衍生物~~

—— 来自 samsung SM-S9110, Android 14上的 S1Next-鹅版 v2.5.4

create a token 派出一个衍生物

4591 · 发表于 2024-6-4 20:14

百度翻译的答案和二楼一样.

Jet.Black · 发表于 2024-6-4 20:14

ChengChung 发表于 2024-6-4 20:09
用于不同场景的翻译可以有所不同吧
你要说是放在语言模型里，词元这个翻译就很合适
你要放在权限管控、网络 ...

token正经翻译是标记，

编译原理学过么，tokenization（标记化）

SinoWarrior · 发表于 2024-6-4 20:16

提示: 作者被禁止或删除内容自动屏蔽

JetBrains · 发表于 2024-6-4 20:18

没进来之前以为是加密那个 token 令牌，大模型的就不知道了，我寻思令牌也是对的，只是上下文不是大模型那个。

—— 来自 HONOR REA-AN00, Android 14上的 S1Next-鹅版 v3.0.0.81-alpha

梁日浮 · 发表于 2024-6-4 20:18

我一般翻成节点

Linjiangzhu · 发表于 2024-6-4 20:19

八云萌华 · 发表于 2024-6-4 20:23

钢镚儿

Alexmacau8 · 发表于 2024-6-4 20:24

瓶盖

Misono_Mayu · 发表于 2024-6-4 20:24

令牌

不见不散 · 发表于 2024-6-4 20:27

提示: 作者被禁止或删除内容自动屏蔽

灰色骑士 · 发表于 2024-6-4 20:27

第一次看到这个单词是在某个c开头的**果聊网站上

—— 来自 vivo V2115A, Android 11上的 S1Next-鹅版 v3.0.0.81-alpha

Gotu · 发表于 2024-6-4 20:28

可得选个好听贴切的翻译，搞不好会沿用很多年

CCauchy · 发表于 2024-6-4 20:32

提示: 作者被禁止或删除内容自动屏蔽

tonyunreal · 发表于 2024-6-4 20:32

本帖最后由 tonyunreal 于 2024-6-4 20:35 编辑

大陆直接用token不翻译的更多，不过用词元的也不少

字节豆包 - token
https://www.volcengine.com/product/doubao

阿里千问 - token
https://help.aliyun.com/zh/dashscope/developer-reference/tongyi-thousand-questions-metering-and-billing

微软 - 词元
https://learn.microsoft.com/zh-cn/dotnet/ai/conceptual/understanding-tokens

另外也有 tokenizer = 分词器，tokenization = 分词化的译法，但“token=分词”这个译法没普及。

Linjiangzhu · 发表于 2024-6-4 20:33

https://huggingface.co/learn/nlp-course/zh-CN/chapter2/4?fw=pt
抱抱脸上有两个翻译，标记或者词符

村长猫 · 发表于 2024-6-4 20:44

就在手游见过，就是代币，抽卡券（

07579394 · 发表于 2024-6-4 20:44

特券用日文音译的话

cnwind042 · 发表于 2024-6-4 20:46

大模型是这么说的，感觉语境不同意义差异有点大，用一个翻译词对应好像不好搞

"Token"这个词源自古英语，最初的意义与“记号”、“标志”相似，随着时间的推移，它在不同的领域发展出了丰富的含义。以下是"token"一词词义演化的简要概述：

原始意义：最初，“token”被用来指任何作为标志、象征或证明的物品，比如古代的信物、徽章或纪念品。在这一层面上，它强调的是物体作为某一关系、事件或承诺的物理体现。

经济学中的代币：随着时间的推移，“token”开始被广泛应用于经济学中，指代那些替代货币流通的小额硬币或纸币，以及商店、游乐场等场所发行的代币，它们只能在特定场合或系统内使用，作为交换媒介。

计算机科学中的身份验证：进入计算机时代，“token”的含义进一步扩展，特别是在计算机安全和网络认证领域。它成为了一种验证用户身份和授权访问特定资源的数字凭证或密钥。这种用法极大地增强了网络交互的安全性，并简化了认证流程。

编程与语言学中的标记：在编程语言和词法分析中，“token”指的是源代码中最小的有意义单位，如关键字、标识符、运算符等，这是编译器或解释器进行语法解析的基础。

区块链与加密货币：随着区块链技术和加密货币的兴起，“token”获得了全新的生命。在这一领域，它不仅代表了数字货币（如比特币），还涵盖了各种可编程的数字资产、权利证明、投票权等，成为了去中心化经济中价值交换的核心概念。

通信与消息队列：在通信协议和消息队列设计中，“token”用来控制数据流的访问，或是标识数据包的序列和状态，确保数据的有序传输和处理。

从实体的标志到抽象的数字标识，"token"的词义演化体现了它如何适应并推动了不同技术和社会结构的发展。这一过程也反映了人类社会从实体经济向数字经济转变的轨迹，以及信息技术对传统概念的重塑。

midearth · 发表于 2024-6-4 20:50

本帖最后由 midearth 于 2024-6-4 20:52 编辑

非要用一个词的话就是代币或者标记物

qiaoyicc · 发表于 2024-6-4 20:57

提示: 作者被禁止或删除内容自动屏蔽

佛剑分说 · 发表于 2024-6-4 21:00

本帖最后由佛剑分说于 2024-6-4 21:01 编辑

看场景，网络编程时候当做标识为目的令牌、口令没啥问题

24k纯帅 · 发表于 2024-6-4 21:06

就NLP来说, token和智没有关系, 就是个词向量而已, 要不就叫词码吧

蓬莱人 · 发表于 2024-6-4 21:09

提示: 作者被禁止或删除内容自动屏蔽

Nanachi · 发表于 2024-6-4 21:21

统一翻译为标记吧

johnkamsar · 发表于 2024-6-4 21:22

我没进来就知道肯定有牌佬跑进来

紧那罗 · 发表于 2024-6-4 21:29

那么请问table该翻译成什么

—— 来自 HUAWEI JAD-AL50, Android 12上的 S1Next-鹅版 v3.0.0.81-alpha

Суслов · 发表于 2024-6-4 21:36

臭打桌游的表示叫标记物

—— 来自 Xiaomi 23116PN5BC, Android 14上的 S1Next-鹅版 v3.0.0.81-alpha

Dreamophobia · 发表于 2024-6-4 21:37

莫邪效果～特招token🎶
太阿效果～特招token

说正经的，令牌其实是个老翻译，现在翻译成标志最普适

芜湖挨宰 · 发表于 2024-6-4 21:37

感觉需要大佬专门造一个中文词

尼曼兔 · 发表于 2024-6-4 22:21

只知道网络开发的传token

		自动登录	找回密码
密码			立即注册

[读书] token应该翻译成什么？

本帖子中包含更多资源

评分

FUZE FUZE 当前离线禁止发言精华 \| 战斗力鹅 \| 回帖 0 注册时间 2017-3-8 头像被屏蔽	发表于 2024-6-4 20:08 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽

	回复使用道具举报

dffgf dffgf 当前离线禁止发言精华 \| 战斗力鹅 \| 回帖 0 注册时间 2022-2-22 头像被屏蔽	发表于 2024-6-4 20:12 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽

	回复使用道具举报

SinoWarrior SinoWarrior 当前离线禁止发言精华 \| 战斗力鹅 \| 回帖 0 注册时间 2021-6-21 头像被屏蔽	发表于 2024-6-4 20:16 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽

	回复使用道具举报

不见不散不见不散当前离线禁止发言精华 \| 战斗力鹅 \| 回帖 0 注册时间 2020-6-20 头像被屏蔽	发表于 2024-6-4 20:27 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽

	回复使用道具举报

CCauchy CCauchy 当前离线禁止发言精华 \| 战斗力鹅 \| 回帖 0 注册时间 2021-2-12 头像被屏蔽	发表于 2024-6-4 20:32 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽

	回复使用道具举报

qiaoyicc qiaoyicc 当前离线禁止发言精华 \| 战斗力鹅 \| 回帖 0 注册时间 2009-11-14 头像被屏蔽	发表于 2024-6-4 20:57 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽

	回复使用道具举报

蓬莱人蓬莱人当前离线禁止发言精华 \| 战斗力鹅 \| 回帖 0 注册时间 2016-12-26 头像被屏蔽	发表于 2024-6-4 21:09 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽

	回复使用道具举报