百川智能發(fā)布超千億大模型BAIchuan 3 ? ? 2024年1月29日，百川智能發(fā)布了具有超過千億參數(shù)的大型語言模型Baichuan 3。

Baichuan 3在各方面都展示出了顯著的突破，特別在中文任務(wù)上，其性能超過了GPT-4。## 創(chuàng)新突破 ? ? Baichuan 3在CMMLU、GAOKAO和AGI-Eval等標(biāo)桿通用能力評測中表現(xiàn)了優(yōu)秀的性能，特別在中文任務(wù)上更是大幅度超過了GPT-4。

在數(shù)學(xué)和編程領(lǐng)域的專業(yè)任務(wù)如MATH、HumanEval和MBPP評測中，Baichuan 3也有出色的表現(xiàn)。? ? 百川智能對Baichuan 3在醫(yī)療領(lǐng)域的能力進(jìn)行了定向優(yōu)化，在對邏輯推理能力和專業(yè)性要求極高的評測任務(wù)如MCMLE、MedExam和CMExam中，Baichuan 3的中文效果超過了GPT-4，成為中文醫(yī)療任務(wù)表現(xiàn)最佳的大模型。? ? ?此外，Baichuan 3突破了“迭代式強(qiáng)化學(xué)習(xí)”技術(shù)，提升了語義理解和生成能力，并在詩詞創(chuàng)作的格式、韻律、表意等方面表現(xiàn)出領(lǐng)先于其他大模型的優(yōu)勢。## 醫(yī)療領(lǐng)域表現(xiàn) ? ?在醫(yī)療領(lǐng)域，大模型的全能特性發(fā)揮著至關(guān)重要的作用。百川智能在預(yù)訓(xùn)練階段為Baichuan 3構(gòu)建了超過千億token的醫(yī)療數(shù)據(jù)集，確保了模型在醫(yī)療領(lǐng)域的專業(yè)度和知識深度。

在推理階段，百川智能通過準(zhǔn)確的任務(wù)描述和適當(dāng)?shù)氖纠龢颖具x擇，讓模型輸出更準(zhǔn)確和符合邏輯的推理步驟，從而顯著提高了Baichuan 3在醫(yī)療領(lǐng)域的任務(wù)效果。

具體來說，Baichuan 3在MCMLE、MedExam、CMExam等中文醫(yī)療任務(wù)的評測成績超過GPT-4。## 創(chuàng)作精準(zhǔn)度提升 ? 百川智能強(qiáng)調(diào)，通過結(jié)合”RLHF&RLAIF”以及迭代式強(qiáng)化學(xué)習(xí)的方法，Baichuan 3提高了語義理解和生成創(chuàng)作能力，使模型在詩詞創(chuàng)作任務(wù)中達(dá)到了全新的優(yōu)秀水平。比較GPT-4，Baichuan 3的詩詞創(chuàng)作能力提升了500%。? 百川智能的這種創(chuàng)新手段和方案在訓(xùn)練過程中顯著提高了Baichuan 3的各種能力。在訓(xùn)練效率方面，Baichuan 3的訓(xùn)練框架在性能上比主流框架提高了超過30%。