ViT
将图像视为一系列patch的Transformer。
概览
ViT 将图像分割为固定大小的图块，将每个图块嵌入为一个 token，并用普通 transformer 处理该序列。它解决了卷积架构固化了局部性假设这一问题，而足够大的模型并不需要这种假设。它之所以存在，是因为它表明，只要有足够的数据，在语言领域胜出的架构就能迁移到视觉领域，这消除了两个领域采用不同工具包的主要原因。
技术图谱
ViT 如何与技术栈的其他部分相连。
使用与依赖
- Transformer architecture Algorithms ViT based on Transformer High ✓ source
应用于
- Multimodal AI application Multimodal ViT used for Multimodal AI High ✓ source
替代方案
对比
与上述替代方案的逐项对比。