第2课:大模型的大脑
进度 0/30
🧩
大模型的大脑
参数像脑细胞连接,Token像文字积木
📖知识引入
🔢参数=脑细胞连接数
参数是大模型内部的「旋钮」,用来记住知识规律。GPT级别的模型有上千亿个参数,像千亿根脑回路!
🧱Token=文字积木
大模型不是按字读文章,而是把文字切成小块积木。一个英文单词约1个Token,一个汉字约1-2个Token。
🎲下一个词预测
大模型的看家本领:根据前面的内容,猜下一个Token最可能是什么。猜得准,说话就通顺又有道理。
📏上下文长度
大模型的「短期记忆」容量。以前只能记几千字,现在顶尖模型能记100万Token,相当于一整套百科全书!
🎯Scaling Law
规律:参数越多、数据越多、算力越大,模型一般越聪明。这叫规模定律,是「大」模型的理论基础。
💡
Token是文字积木块,大模型靠「猜下一个Token」说话!
🔍Token切分演示
句子「我爱学AI」会被切成这样:
「我」「爱」「学」「A」「I」
大模型玩接龙游戏:
输入:今天天气真 模型预测:好 (90%)|差 (5%)|热 (3%)|其他 (2%)
它每次都选概率最高的积木拼上去, 一句一句「接」出完整的回答。
「今天天气真好,我们去公园放风筝吧!」
这就是为什么它说话像人——因为它读了无数人说的话!
🎯小测验
第1题:参数在大模型里像什么?
第2题:大模型说话的核心本领是什么?
第3题:上下文长度相当于大模型的什么?
📝本课知识点
- ✓参数像脑细胞连接,千亿级别
- ✓Token是文字积木块
- ✓核心本领:预测下一个Token
- ✓上下文长度=短期记忆容量
- ✓规模定律:越大通常越聪明
第2课完成!继续探索下一课吧 🚀
