Phi-3翻译站点

Phi-3是微软发布的一款大型语言模型，其特点鲜明，性能出色。

1. 版本与参数规模：
   • Phi-3有三个版本，分别是phi-3-mini、phi-3-small、phi-3-medium，对应的参数规模分别为3.8B（38亿）、7B和14B。
   • 其中，phi-3-mini版本是在3.3T tokens（令牌）的数据上进行预训练的，而后两个版本则是用4.8T tokens的数据进行训练。
2. 技术特点：
   • 支持不同长度的上下文窗口：Phi-3-mini是同类模型中首个支持最多128K令牌上下文窗口的模型。
   • 指令调整：Phi-3经过指令调整，可以遵循不同类型指令，使模型即开即用。
   • 跨平台运行：Phi-3支持跨平台的ONNX Runtime，并可在GPU、CPU甚至移动硬件上运行。
   • NVIDIA优化：Phi-3作为NVIDIA NIM微服务提供，具有标准API接口，可在任何地方部署，并针对NVIDIA GPU进行了优化。
   • 训练数据调制：Phi-3的核心技术之一是通过对数据进行调制，利用基于大模型的数据过滤技术和数据合成技术，突出训练数据的常识推理和逻辑推理特性，使得小模型可以达到和大模型相当的NLU（自然语言理解）和NLI（自然语言推理）能力。
3. 性能表现：
   • Phi-3-mini尽管被优化至可部署在手机上，但其性能可以与Mixtral 8x7B和GPT-3.5等模型相媲美。
   • 在MMLU（Massive Multi-task Language Understanding）基准测试中，Phi-3-mini达到了69%的准确率；在MT-bench基准测试中，其达到了8.38的分数。
4. 安全性与责任性：
   • Phi-3的训练过程包括安全后训练，如强化学习人类反馈、自动化测试和对数十种危害类别的评估。
   • 该模型符合微软负责任AI标准，遵循责任、透明、公平、可靠和安全、隐私和安全、包容等原则。
5. 应用场景：
   • Phi-3系列模型（包括Phi-3-vision）因其多模态特点，在实际应用场景中发挥着重要作用，如用于增强Farmer.Chat的多模态对话界面，以及帮助医疗软件公司Epic更有效地总结复杂的病史等。

Phi-3是微软推出的一款高性能大型语言模型，不仅具有出色的技术特点和性能表现，还具备高度的安全性和责任性，同时适用于多种应用场景。