LLaVA
视觉语言模型，通过将视觉编码器连接到语言模型构建而成。
概览
LLaVA 将一个冻结的视觉编码器与一个语言模型配对，仅训练两者之间的投影层，从而使模型能够讨论图像。它解决了从头训练多模态模型需要大多数团队不具备的规模这一问题。它的存在证明了昂贵的部分可以被复用，只需学习连接部分。
技术图谱
LLaVA 如何与技术栈的其他部分相连。
使用与依赖
- Attention concept Algorithms LLaVA uses Attention High ✓ source
- CLIP model Multimodal LLaVA based on CLIP High ✓ source
- LLM concept Models LLaVA based on LLM High ✓ source
应用于
- Multimodal AI application Multimodal LLaVA used for Multimodal AI High ✓ source
工具
实现或集成 LLaVA 的软件。