,,

歷史上第一次科技公司：Meta開源GPT3參數大小的AI模型

（2024年11月27日更新）

大型語言模型在生成文本段落、模擬人類對話和解決數學問題方面表現出色，顯然是近年來AI發展最受歡迎的領域之一。然而，這種大型語言模型不僅可以自己生成有害內容，還可以通過下游應用程序傳播。

芯片采購網專注于整合國內外授權IC代理商現貨資源，芯片庫存實時查詢，行業價格合理，采購方便IC芯片，國內專業芯片采購平臺。

理論上，更多的人的參與應該有助于解決問題。然而，由于語言模型的培訓需要大量的數據和計算能力，它們仍然只是大型科技公司的獨特項目。在學術界、倫理學家和社會科學家等更廣泛的群體中，只有旁觀者擔心人工智能濫用。

我相信建立信任的唯一方法就是極其透明。Meta AI常務董事喬爾·皮諾（Joelle Pineau）說。當地時間5月3日，Meta AI擁有1750億參數的大語言模型開放OPT-175B（Open Pretrained Transformer，OPT）。

這對大型科技公司來說是前所未有的。即使在大語言模型的歷史上，這也是第一次毫無保留地披露所有的預訓練模型、訓練代碼和使用代碼。

我們中的許多人都是大學的研究人員，皮諾說。我們知道，大學和行業在建立這些模式的能力上存在著明顯的差距。很明顯，讓研究人員討論這項技術的好處。她希望其他人能仔細研究他們的工作，分析它們，或在此基礎上建立它們。她認為，當更多的人參與進來時，突破就會更快地實現。

OPT語言模型中約有1750億個參數(這些參數是神經網絡在訓練過程中可以調整的參數)OpenAI開創性的神經網絡GPT-3規模基本相同，有付費服務GPT-非凡的能力和不可避免的缺陷。

這是經過精心設計的，皮諾說OPT考慮語言任務的準確性和有害性GPT-3相匹配。OPT為研究人員提供類似的語言模型進行研究。

OpenAI拒絕了對Meta評論聲明。

OpenAI谷歌的母公司正在探索在其搜索產品中使用大型語言模型，但也因缺乏透明度而受到批評。谷歌在人工智能倫理研究員方面存在許多爭議Timnit Gebru如果你想發表一篇關于谷歌當時語言系統的論文，你可能會從網站上學習包含偏見和仇恨的論文，最近解雇了另一名反對發表研究的員工。

那么，Meta為什么要這樣做？Meta也很少提到臉書和臉書Instagram科技公司背后的算法工作原理利問題而聞名的科技公司背后的算法工作原理。

根據麻省理工科技評論，Meta采用不同方法的一個重要原因是皮諾本人多年來一直在促進人工智能研發的透明度。

在核心學術會議發表的研究方法中，皮諾要求研究人員提交包括代碼以及如何進行實驗的詳細信息和結果。她自2017年加入Meta（當時的Facebook）人工智能實驗室一直倡導這種文化。

“Meta對開放科學的承諾條件來這里工作，皮諾說。

除代碼外，Meta開發日志也公布了。日志包括團隊成員對數據培訓的日常更新:如何將其添加到模型中，以及何時、有效和無效。在100多頁的筆記中，研究人員記錄了2021年10月至2022年1月持續運行的三個月訓練過程中的每一個錯誤、崩潰和ILSI代理重啟。

斯坦福大學基礎模型研究中心主任Percy Liang將大模型的開放程度總結為四個層次：

第一層論文開放，證明一些想法的可行性，并提供構建思路；第二層API開放允許研究人員探索和評估現有模型的能力（如推理能力）和限制（如偏見）；第三層模型權重和培訓數據的開放允許研究人員逐步改進現有模型，開發更深入的可解釋技術和更有效的微調方法，讓研究人員更好地了解培訓數據在模型行為中的作用；第四層開放的計算能力允許研究人員嘗試新的系統結構、培訓目標和過程、數據集成，并在不同領域開發新的模型。

更高層次的開放可以讓研究者關注更深層次的問題，同時帶來更多的風險。Percy Liang明確指出這一點。

Meta在這種程度上，開源其大型語言模型是一項非常大膽的措施，可能會產生目前無法想象的風險。OpenAI對于不發布GPT-3的前身GPT-給出的原因。

我不能告訴你這個模型不會有其他可怕的風險。皮諾駁斥了僅僅因為它太危險了，所以不應該發布模型的想法。她說：我理解這些模型的弱點，但這不是一種研究心態。

根據《麻省理工科技評論》，人工智能倫理研究員瑪格麗特因違反其行為準則被谷歌解雇·米切爾（Margaret Mitchell）認為，OPT發布是一項積極的措施。但她認為透明度是有限的。她問：語言模型是否經過了足夠嚴格的測試？可預見的好處是否超過其可預見的危害？如何避免在這個過程中產生錯誤的信息，或者種族主義和厭惡女性的語言？“

艾米麗，華盛頓大學的計算語言學家·M·本德（Emily M.Bender）她曾在谷歌中心與米切爾合作研究，并擔心如何處理潛在的危害。降低任何機器學習技術風險的真正關鍵是在特定的用例中進行評估和探索，例如，該系統是用來做什么的？誰會使用它？系統輸出將如何呈現給他們？

對于皮諾來說，這些擔憂應該通過更多的公開討論來解決，而不是減少溝通。世界各地的人們對什么樣的對話有不同的看法，人工智能是對話的一部分，皮諾不希望語言模型能說出每個人都同意的話，但我們應該如何處理呢？也就是說，在討論過程中聽別人的聲音。