🐵指尖猴全新升级
第2课:大模型的大脑
🧩

大模型的大脑

参数像脑细胞连接,Token像文字积木

📖知识引入

🔢参数=脑细胞连接数
参数是大模型内部的「旋钮」,用来记住知识规律。GPT级别的模型有上千亿个参数,像千亿根脑回路!
🧱Token=文字积木
大模型不是按字读文章,而是把文字切成小块积木。一个英文单词约1个Token,一个汉字约1-2个Token。
🎲下一个词预测
大模型的看家本领:根据前面的内容,猜下一个Token最可能是什么。猜得准,说话就通顺又有道理。
📏上下文长度
大模型的「短期记忆」容量。以前只能记几千字,现在顶尖模型能记100万Token,相当于一整套百科全书!
🎯Scaling Law
规律:参数越多、数据越多、算力越大,模型一般越聪明。这叫规模定律,是「大」模型的理论基础。
💡
Token是文字积木块,大模型靠「猜下一个Token」说话!

🔍Token切分演示

句子「我爱学AI」会被切成这样:

「我」「爱」「学」「A」「I」

大模型玩接龙游戏:

输入:今天天气真
模型预测:好 (90%)|差 (5%)|热 (3%)|其他 (2%)

它每次都选概率最高的积木拼上去, 一句一句「接」出完整的回答。

「今天天气真好,我们去公园放风筝吧!」

这就是为什么它说话像人——因为它读了无数人说的话!

🎯小测验

第1题:参数在大模型里像什么?

第2题:大模型说话的核心本领是什么?

第3题:上下文长度相当于大模型的什么?

📝本课知识点

  • ✓参数像脑细胞连接,千亿级别
  • ✓Token是文字积木块
  • ✓核心本领:预测下一个Token
  • ✓上下文长度=短期记忆容量
  • ✓规模定律:越大通常越聪明
第2课完成!继续探索下一课吧 🚀