CLIP
将图像和文本置于同一嵌入空间的模型。
概览
CLIP 训练一个图像编码器和一个文本编码器，使匹配的图像-文本对在空间中彼此靠近，从而形成一个共享空间，文本查询可以在其中检索图像。它解决了监督式图像分类器受限于固定标签集的问题——要识别标签集之外的任何内容都需要新的数据集。它之所以存在，是因为基于描述的零样本分类被证明行之有效，而它也是大多数多模态系统所依赖的组件。
技术图谱
CLIP 如何与技术栈的其他部分相连。
使用与依赖
- LLaVA model Multimodal LLaVA based on CLIP High ✓ source
- Transformer architecture Algorithms CLIP based on Transformer High ✓ source
应用于
- AI Search application Applications CLIP used for AI Search High ✓ source
- Contrastive Learning technique Algorithms Contrastive Learning used for CLIP High ✓ source
- LAION-5B dataset Datasets LAION-5B used for CLIP High ✓ source
- Multimodal AI application Multimodal CLIP used for Multimodal AI High ✓ source
- Zero-Shot concept Prompting Zero-Shot used for CLIP High ✓ source