是什么
LLM 是大语言模型。
解决什么问题
提供智能服务。可辅助甚至替代知识工作者的工作。比如，写文章，做图，数据分析，客服。
如果能够达到 AGI 。那么也就不需要知识工作者了。。。
价值
- 降低成本(具体数据？)。减少知识工作者的工作。
- 提高效率(具体数据？)。形成 SOP 后，可以自动化。
评估
能力
- 推理能力。数学推理。常识推理。
- 多任务。
参数
- Context 长度。
- 输出速度。
- 费用。
- 架构。
- 参数。
排行榜(LLM Leaderboard)
- Vellum LLM Leaderboard 包含开源和闭源模型。
- Open LLM Leaderboard 只有开源模型。
评估工具: Language Model Evaluation Harness