AI 交互实验
调整参数,查看计算结果和中间步骤。所有实验都在浏览器本地运行,注意力和检索使用小规模示例。
梯度下降与学习率
在一维函数 L(w) = w² 上,梯度为 2w,每次更新:w ← w − η · 2w。
调整参数后,点击前进一步,观察紫色点的移动。
- 迭代步数
- 0
- 当前 w
- 3.0000
- 当前损失
- 9.0000
对这个函数,0 < η < 1 时会收敛;η = 1 时在两侧等幅震荡;η > 1 时会发散。η = 0.5 会一步到达最小值。这些阈值仅适用于本实验的 L(w) = w²。
阅读梯度下降笔记 ↗温度与 Top-K 采样
调整候选词的 logit,观察概率分布。温度越低,分布越集中;Top-K 只保留分数最高的 K 个候选词。
今天的天气很 …
连续采样后,实际频率会逐渐接近理论概率。修改参数会重新统计。
候选词与 logit 是手动设定的示例,没有调用语言模型。温度影响采样分布,不会改变模型已有的知识。
阅读 Mini-GPT 与文本生成笔记 ↗注意力权重
选择一个词,修改它的查询向量 Q,查看它对各个词的关注权重。热力图每一行的权重之和为 1。
因果遮罩会将当前词后面的词屏蔽;取消后可以关注所有词。
本实验直接使用四维 Q、K 向量,省略分词、Embedding 和投影层。它展示的是缩放点积注意力的计算,不代表真实模型的语义判断。
阅读 Transformer 笔记 ↗RAG:检索与上下文
输入一个问题,查看示例文档的相关度、检索排序,以及最终放入上下文的内容。
- 问题向量
- 文档检索
- 上下文组装
Top-K 控制最多取回几篇文档,预算限制放入上下文的正文长度。
使用固定关键词的 TF-IDF 向量与余弦相似度演示检索。预算按字符计数,省略 tokenizer 和大模型生成,只展示检索与组装过程。
阅读 RAG 笔记 ↗训练一个简单神经网络
一个 2 → 4 → 1 的神经网络,通过反向传播学习四个样本。观察损失和分类边界如何变化。
- 训练步数
- 0
- 交叉熵损失
- 样本准确率
训练会实际更新权重。学习率可在训练时调整,切换数据会重新初始化。
隐藏层使用 tanh,输出层使用 sigmoid,损失为二元交叉熵。四个输入点归一化到 −1 / +1,样本准确率只针对这四个点,不代表泛化能力。
阅读 MLP 与 PyTorch 笔记 ↗