Latent

Notes from the latent space of AI — 让隐含的知识显形。这里记录大模型(LLM)与智能体(Agent)方向的学习笔记和技术深度文章。

理解注意力机制:从缩放点积到多头注意力

深入解析 Transformer 中的注意力机制——从 Query-Key-Value 的直觉出发,经过缩放点积注意力,到多头注意力,配合具体数值示例追踪数据流。

2026年7月5日 · 2 分钟 · 308 字 · Latent

从零构建 ReAct Agent:工具调用与多步推理

实现一个 ReAct 风格的 Agent,支持搜索、计算器、代码执行等工具。覆盖 Thought-Action-Observation 循环、Prompt 工程设计和错误恢复策略。

2026年7月4日 · 2 分钟 · 256 字 · Latent

RAG Pipeline 实战:从文档切分到检索增强的完整链路

搭建生产级 RAG 系统的全流程:文档切分策略、Embedding 模型选型、向量数据库对比、检索重排,以及 Prompt 注入的最佳实践。

2026年7月3日 · 1 分钟 · 182 字 · Latent