RAG检索增强生成：从向量检索到Hugging Face知识库问答
承接Hugging Face与SFT，从文档切分、句向量、余弦相似度、Top-K、重排序和上下文预算理解RAG，手算检索与下一个token的生成，并实现可检查的本地知识库问答项目。
# NLP # Hugging Face # Transformers
欢迎来到我的个人研究室
LSWORLD / PERSONAL RESEARCH ROOM在代码与
星光之间
记录理解世界的过程。
你好，我是 LsWorld。这里收藏我的机器学习笔记、工程实验，以及那些从好奇心开始的小小创造。
MACHINE LEARNINGCREATIVE CODING
每一点好奇，都值得被记录A LITTLE ROOM FOR BIG IDEAS
目前的探索方向
从 Transformer 的原理，走向微调与 RAG 实践
128篇学习记录
4条知识路线
4个项目档案
KNOWLEDGE CONSTELLATIONS
展开学习地图 知识，也有自己的星座
BUILT WITH CURIOSITY
走进项目展厅 把好奇心，做成作品
AI × CHARACTER有些知识，动手试一次就懂了。
进入交互实验室 ↗调整学习率，观察梯度下降的收敛、震荡与发散。
RECENT NOTES
全部文章 最近的学习记录
SFT（四）：QLoRA的4-bit量化与LoRA微调原理
承接LoRA监督微调，从显存组成、分块量化、NF4、Double Quantization和Paged Optimizer出发，解释QLoRA的前向与反向传播，并使用Hugging Face Transformers、TRL、PEFT和bitsandbytes完成可检查的4-bit SFT项目。
# NLP # 自然语言处理 # Hugging Face
SFT（三）：使用TRL SFTTrainer与LoRA微调对话模型
在理解input_ids、labels与Completion-only loss后，使用Hugging Face TRL SFTTrainer、Conversational Dataset、Chat Template和PEFT LoRA完成对话SFT，并讲清assistant-only loss、Packing、显存、Adapter保存加载与推理。
# NLP # 自然语言处理 # Hugging Face
SFT（二）：用Hugging Face Transformers手写监督微调
不依赖TRL，从prompt-completion数据出发，使用Hugging Face Transformers亲手构造input_ids、attention_mask与labels，实现Completion-only loss、动态Padding、Trainer训练、保存和GenerationConfig推理。
# PyTorch # NLP # 自然语言处理
SFT（一）：从Next Token Prediction到指令微调
承接Mini-GPT与Hugging Face学习记录，从next-token prediction出发理解SFT在LLM后训练中的位置，拆解Chat Template、label shift、attention mask、loss mask与assistant-only loss，并手算一次完整SFT损失。
# NLP # 自然语言处理 # Hugging Face
Hugging Face详解：从模型下载到中文文本分类微调
系统介绍Hugging Face Hub、Transformers、Datasets、Tokenizer、Pipeline与Trainer，并通过中文情感分类案例走通预训练模型加载、手动推理、微调、评估、保存和复用全过程。
# PyTorch # NLP # 自然语言处理
RoPE详解：从二维旋转到PyTorch手写旋转位置编码
承接Transformer与Mini-GPT，从二维旋转、相对位置推导和手算例子出发，逐步理解RoPE的多频率设计、PyTorch实现、KV Cache、长度外推与常见错误。
# PyTorch # NLP # 自然语言处理
手写Mini-GPT：从因果语言模型到PyTorch完整实现
承接Transformer，从零手写字符级Mini-GPT，深入理解自回归语言模型、因果注意力、Pre-Norm Block、交叉熵、采样策略、训练技巧与KV Cache。
# PyTorch # NLP # 自然语言处理
Transformer详解：从自注意力手算到PyTorch完整实现
从RNN Seq2Seq的局限出发，逐步理解Q、K、V、缩放点积注意力、多头注意力、位置编码、Mask、Encoder与Decoder，并用PyTorch实现完整Transformer。
# PyTorch # NLP # 自然语言处理
AdamW Optimizer：为什么要把权重衰减与梯度更新解耦
从 L2 正则化与权重衰减的区别出发，理解 AdamW 的解耦思想、更新公式、手算过程、参数分组和 PyTorch 完整训练方法。
# 机器学习 # 深度学习 # PyTorch
Seq2Seq：从Encoder-Decoder到Attention与PyTorch实现
从序列到序列任务出发，理解Encoder-Decoder、隐藏状态、Teacher Forcing、训练与推理差异、Attention，并用PyTorch GRU实现一个完整Seq2Seq模型。
# PyTorch # NLP # 自然语言处理