Phi
微软主要基于精选的教科书级数据训练的小型模型。
概览
Phi 是一系列小型语言模型，其训练基于刻意精选、高质量且范围狭窄的教科书和习题语料库，而非网络规模的爬取数据。它挑战了能力必须依赖规模的假设，表明数据选择可以在很大程度上替代规模。它的存在是因为它重新定义了问题，从“需要多少数据”转变为“需要什么样的数据”，而当预算仅限一块 GPU 时，这一答案尤为实用。
技术图谱
Phi 如何与技术栈的其他部分相连。
使用与依赖
- Transformer architecture Algorithms Phi based on Transformer High ✓ source
工具
实现或集成 Phi 的软件。
Infrastructure
替代方案
对比
与上述替代方案的逐项对比。