1月29日，百川智能发布超千亿参数的大语言模型Baichuan 3。在多个权威通用能力评测如CMMLU、GAOKAO和AGI-Eval中展现了较强的能力，尤其在中文任务上超越了GPT-4。此外，其在对逻辑推理能力及专业性要求极高的MCMLE、MedExam、CMExam等权威医疗评测上的中文效果同样超过了GPT-4，成为中文医疗任务表现最佳的大模型。

与百亿、几百亿级别参数模型训练不同，超千亿参数模型在训练过程中对高质量数据，训练稳定性、训练效率的要求都高出几个量级。为更好解决相关问题，百川智能技术人员在训练过程中针对性地提出了“动态数据选择”、“重要度保持”以及“异步CheckPoint存储”等多种创新技术手段及方案，提升大模型的各项能力。

医疗大模型背后蕴含着巨大的社会价值和产业价值，而医疗问题专业性强、知识更新速度快、准确性要求高、个体差异大，能充体现大模型的各项能力，被百川智能称为“大模型皇冠上的明珠”。因此，诸如OpenAI、谷歌等头部大模型企业都将医疗作为模型的重点训练方向和性能评价的重要体系。

在医疗领域，大模型的全能特性发挥着至关重要的作用。首先，其多模态学习能力能够整合文本、影像、声音等多种类型的医疗数据，提供更全面、准确的分析和诊断。其次，大模型的深层推理能力有助于复杂医疗决策的制定。此外，稳定的性能和知识更新能力确保了医疗建议的可靠性和时效性。同时，大模型的语言理解和生成能力使其能够处理专业术语和复杂句式。

百川智能相关负责人介绍，其在模型预训练阶段构建了超过千亿Token的医疗数据集，包括医学研究文献、真实的电子病历资料、医学领域的专业书籍和知识库资源、针对医疗问题的问答资料等。该数据集涵盖了从理论到实际操作，从基础理论到临床应用等各个方面的医学知识，确保了模型在医疗领域的专业度和知识深度。

针对医疗知识激发的问题，技术团队在推理阶段针对Prompt（提示词）做了系统性的研究和调优，通过准确的描述任务、恰当的示例样本选择，让模型输出更加准确以及符合逻辑的推理步骤，最终不仅提升了Baichuan 3在多项医疗考试上的成绩，并且在真实的医疗问答场景下也能给使用者提供更精准、细致的反馈。