MI300X
AMD 的数据中心加速器，配备大型统一内存池。
概览
MI300X 是 AMD 的数据中心加速器，其显著特点是在单个封装上集成了超大容量的高带宽内存。它解决了推理中受内存限制的那一半问题：为具有长上下文的模型提供服务时，瓶颈在于权重之外还能容纳多少键值缓存，因此更大的内存意味着更高的并发请求数，而不是更快的算术运算。它的存在，为这个仅有一家供应商的市场带来了第一个真正意义上的替代选择。
技术图谱
MI300X 如何与技术栈的其他部分相连。
应用于
- Inference concept Infrastructure MI300X used for Inference High ✓ source