https://crfm.stanford.edu/alpaca/

斯坦福發(fā)布了一個由LLaMA 7B微調(diào)的模型Alpaca，訓練3小時，性能比肩GPT-3.5。

Alpaca: A Strong Open-Source Instruction-Following Model

作者：Rohan Taori?and?Ishaan Gulrajaniand?Tianyi Zhang?and Yann Dubois and Xuechen Li and Carlos Guestrin and?Percy Liang?and Tatsunori B. Hashimoto

Alpaca是由Meta的LLaMA 7B微調(diào)而來的全新模型，僅用了52k數(shù)據(jù)，性能約等于GPT-3.5。關(guān)鍵是訓練成本奇低，不到600美元。在8個80GB A100上訓練了3個小時，不到100美元；生成數(shù)據(jù)使用OpenAI的API，500美元。

OpenAI最大的創(chuàng)新之一就是將指令調(diào)優(yōu)用在了GPT-3上。斯坦福使用了現(xiàn)有的大語言模型，來自動生成遵循指令演示。

官網(wǎng)地址：https://crfm.stanford.edu/2023/03/13/alpaca.html

模型入口：https://crfm.stanford.edu/alpaca

github地址：https://github.com/tatsu-lab/stanford_alpaca

更多內(nèi)容可參考：

https://simonwillison.net/2023/Mar/13/alpaca