H200
H100 的升级版，配备大幅增加的高带宽内存。
概览
H200 保留了 H100 的计算能力，同时提升了显存容量和带宽，从而改变了受显存而非算术限制的工作负载的平衡。它解决了特定且常见的瓶颈：以长上下文服务大型模型时，受限于权重之外还能容纳多少 KV cache，因此更大的显存意味着更多并发序列，而不是更快的算术运算。它之所以存在，是因为推理经济学通常就是显存经济学。
技术图谱
H200 如何与技术栈的其他部分相连。
H100 的升级版，配备大幅增加的高带宽内存。
H200 保留了 H100 的计算能力，同时提升了显存容量和带宽，从而改变了受显存而非算术限制的工作负载的平衡。它解决了特定且常见的瓶颈：以长上下文服务大型模型时，受限于权重之外还能容纳多少 KV cache，因此更大的显存意味着更多并发序列，而不是更快的算术运算。它之所以存在，是因为推理经济学通常就是显存经济学。
H200 如何与技术栈的其他部分相连。