3.RAG · 移动端

RAG

RAG(Retrieval Augmented Generation)：检索增强生成。

顾名思义，就是通过检索外部数据，增强大模型的生成效果。

RAG为LLM提供了从某些数据源检索到的信息，并基于此修正生成的答案。

RAG基本上是Search + LLM提示，可以通过大模型回答查询，并将搜索算法所找到的信息作为大模型的上下文。查询和检索到的上下文都会被注入发送到LLM的提示语中。

将大模型应用于实际业务场景时会发现，通用的基础大模型基本无法满足我们的实际业务需求，主要有以下几个方面的原因:

RAG系统兼具检索与生成的双重能力，可视为传统生成系统的升级版：既有效减少了幻觉现象，又显著提升了回答的事实准确性。该技术还支持“与数据对话”(chat with my data)的应用场景，使企业和个人能够将LLM与内部数据或特定数据源（如书籍内容）对接。

RAG技术是一种结合信息检索与生成模型的新型架构，其核心思想是利用外部知识库或文档集合为大模型提供实时、准确的背景信息，从而弥补大模型的局限性。

这样答案质量立刻大幅提升，而且有据可查(能告诉你答案来自哪份文档)。

RAG标准流程由索引(Indexing)、检索(Retriever)和生成(Generation)三个核心阶段组成。

【离线：准备资料库】

你的文档 -> ① 切分成小块(Chunk) -> ② 向量化(Embedding) -> ③ 存入向量数据库

【在线: 回答提问】

用户提问 -> ④ 把问题也向量化 -> ⑤ 在向量库里检索最相似的片段(TopK)，重排序(rerank) -> ⑥ 把【检索到的片段 + 问题】拼成 Prompt -> ⑦ 模型基于片段作答

Embedding: 把文本映射成高维向量，语义相近 -> 向量距离近(常用余弦相似度)
分块(chunking): 文档太长必须切块再向量化。块太大 -> 检索不精确，块太小 -> 上下文残缺。常见策略: 固定长度 + 重叠(overlap)、按标题/段落结构切。
向量数据库: Qdrant、Milvus、Chroma、FAISS、pgvector。核心能力是近似最近邻(ANN)检索 -- 百万级向量里毫秒级找TopK。
重排序(rerank)：向量检索快但糙，先召回Top50，再用更精细的cross - encoder模型(把问题+候选文档成对送进模型逐一打分，比单独算向量距离更准、但也更慢)，所以只用于小范围重排)，排出Top5，精细度显著提升。

Embedding = 把一段文字变成一串数字(向量)，这串数字代表了这段文字的语义。

神奇之处在于: 语义相近的文字，它们的向量在空间里也距离相近（常用余弦相似度）。

举例（简化）:
•「小猫」→ [0.2, 0.9, 0.1, ...]
•「猫咪」→ [0.21, 0.88, 0.12, ...] ← 和「小猫」很近
•「汽车」→ [0.8, 0.1, 0.7, ...] ← 离得很远

所以找语义相关的内容就变成了找向量距离最近的内容 --- 一个纯数学问题，计算机极快。

为什么这比关键词搜索强？

关键词搜索怎么处理空指针找不到写着如何避免NPE的文档(因为字不一样)，但它俩语义相近，向量检索能找到。这就是语义搜索，比关键词搜索强。

调一个专门的Embedding模型API（和聊天API类似）。

存这些向量、并能快速找到最相近的K个的数据库，就叫向量数据库。