LLM(大语言模型) 本质是智力服务。LLM 能提升做事的效率。但用好 LLM 有难度。
用好 LLM - 释放 LLM 的潜力
深入对 LLM 的了解
原理
- 训练流程: 预训练，微调，后训练。
- TODO: 注意力机制
优势
LLM 训练的数据很多。理论上，它比人类看视角更全面。
发现/提出问题，解决问题。
局限性
- 上下文限制。
- 使用难度。
- 用户很难说清楚的问题。
- 啰嗦。
我的应用
解决什么问题
提供智能服务。可辅助甚至替代知识工作者的工作。比如，写文章，做图，数据分析，客服。
如果能够达到 AGI 。那么也就不需要知识工作者了。真的吗？
价值
- 降低成本(具体数据？)。减少知识工作者的工作。
- 提高效率(具体数据？)。形成 SOP 后，可以自动化。
评估
能力
- 推理能力。数学推理。常识推理。
- 多任务。
参数
- Context 长度。
- 输出速度。
- 费用。
- 架构。
- 参数。
排行榜(LLM Leaderboard)
- Vellum LLM Leaderboard 包含开源和闭源模型。
- Open LLM Leaderboard 只有开源模型。
评估工具: Language Model Evaluation Harness