編程客棧（）5月30日 消息:當下，開源語言模型如雨后春筍般的冒出，其中有部分號稱性能比Meta、谷歌等大科技公司開發的產品更優秀。

最近，一款名為FalconLM 開源語言模型就號稱提供了比 Meta 的 LLaMA 更好的性能，也可以用于商業。但如果收入超過100萬美元，則商業用途需要繳納特許權使用費。

據了解，Falc編程onLM 是由阿拉伯聯合酋長國阿布扎比的技術創新研究所 （TII） 開發。該組織聲稱 FalconLM 是迄今為止最強大的開源語言模型。相比之下，FalconLM 最大的變體擁有400億個參數，這明顯小于Meta 的具有650億個參數的 LLaMA編程客棧。

(資料圖片)

在總結各種基準測試結果的Hugging Face OpenLLM 排行榜上，兩個最大的 FalconLM 模型（其中一個已經用指令進行了改進）目前以顯著優勢占據前兩名。

FalconLM 比 GPT-3訓練成本更低效果更好

根據開發團隊的說法，FalconLM 競爭優勢的一個重要方面是訓練數據的選擇。語言模型在訓練期間對數據質量很敏感。

研究團隊開編程客棧發了一種從公共爬網數據集中提取高質量數據并刪除重復數據的流程。在徹底清除重復數據GHYZh后，仍保留了5萬億條文本（token）——足以訓練強大的語言模型。

FalconLM 接受了萬億token的訓練。TII 還提到了針對性能和效率優化的架構，但沒有提供詳細信息。

據該團隊稱，優化的架構與高質量的數據集相結合，使得 FalconLM 在訓練期間僅需要GPT-3的75% 的計算量，但明顯優于舊的 OpenAI 模型。據說推理成本是 GPT-3的五分之一。

TII 的 FalconLM 用例包括文本生成、解決復雜問題、將模型用作個人聊天機器人，或用于客戶服務或翻譯等商業領域。

在商業應用中，TII 希望商業使用場景下，使用該語言模型獲得100萬美元收入后，將收取收入GHYZh的10% 作為版稅，而對于個人使用和研究，FalconLM 是免費的。

FalconLM 模型的所有版本均可從 Huggingface 免費下載，網址:https://huggingface.co/tiiuae。

除了這些模型，該團隊還在Apache2.0許可下以開源形式發布了包含6000億個文本token的“Refinedweb”數據集的一部分。據說該數據集已準備好進行多模式擴展，因為示例已經包含圖像的鏈接和替代文本。網址:https://huggingface.co/datasets/tiiuae/falcon-refinedweb

標簽：