多模态AI
接受多种输入类型的模型，例如同时处理文本和图像。
概览
多模态模型接受多种输入类型并在它们之间进行推理，因此一张图像和关于它的一个问题由单个模型处理，而不是由一条流水线处理。它解决了真实请求很少是单模态的问题：一张附带问题的截图，或一份带有版式的文档。它之所以存在，是因为可以跨模态学习共享表示，而难点不在于接受图像，而在于将语言 grounding 到图像中，同时不丢失文本能力。
技术图谱
多模态AI 如何与技术栈的其他部分相连。
使用与依赖
- Attention concept Algorithms 多模态AI uses Attention High ✓ source
- Transformer architecture Algorithms 多模态AI based on Transformer High ✓ source
被用于
应用于
- CLIP model Multimodal CLIP used for 多模态AI High ✓ source
- LAION-5B dataset Datasets LAION-5B used for 多模态AI High ✓ source
- LLaVA model Multimodal LLaVA used for 多模态AI High ✓ source
- LanceDB database Vector Databases LanceDB used for 多模态AI High ✓ source
- ViT architecture Multimodal ViT used for 多模态AI High ✓ source