分块
将文档分割成足够小的段落，以便进行检索和嵌入。
概览
分块在嵌入之前将文档划分为多个片段，依据长度、结构或语义来选择边界。它解决的问题是：一个嵌入为整段文本只生成一个向量，因此跨越两个主题的分块与两者都匹配不佳，而分块过小又会丢失使其具有意义的上下文。它之所以存在，是因为检索质量在这里与在模型处同样被决定。
技术图谱
分块 如何与技术栈的其他部分相连。
应用于
- Embedding concept Techniques 分块 used for Embedding High ✓ source
- RAG technique Techniques 分块 used for RAG High ✓ source