目錄[隱藏][顯示]
GPT-3,當前的大型神經網絡,由 2020 年 XNUMX 月發布 OpenAI,由埃隆·馬斯克和薩姆·奧爾特曼共同創立的人工智能初創公司。 GPT-3 是一種尖端語言模型,擁有 175 億個參數,而其前身 GPT-1,5 則有 2 億個參數。
GPT-3 的性能優於微軟的 NLG 圖靈模型(圖靈自然語言生成),該模型此前保持著擁有 17 億個參數的最大神經網絡的記錄。
語言模型曾被讚揚、批評過,甚至受到過審視; 它還催生了新的、有趣的用途。 現在有報導稱 GPT-4,OpenAI 的下一版本 語言模型,確實很快就會到來。
如果您想了解有關 GPT-4 的更多信息,那麼您來對地方了。 我們將在本文中深入研究 GPT-4,包括其參數、它與其他模型的比較等。
那麼,什麼是 GPT-4?
要了解 GPT-4 的範圍,我們必須首先了解其前身 GPT-3。 GPT-3(生成式預訓練變壓器,第三代)是一種自主內容生成工具。
用戶將數據輸入到 機器學習 據 OpenAI 稱,該模型隨後可以生成大量相關的文字作為回應。 GPT-4 在少樣本條件下的多任務處理方面會明顯更好——這是一種 機器學習 – 使結果更加接近人類的結果。
GPT-3 的建造成本為數億英鎊,但 GPT-4 預計成本要高得多,因為它的規模將擴大五百倍。 從這個角度來看,
GPT-4 可能具有與大腦中的突觸一樣多的特徵。 GPT-4 將主要採用與 GPT-3 相同的方法,因此 GPT-4 將擴展 GPT-3 目前所實現的功能,而不是范式飛躍,但推理能力顯著增強。
GPT-3 允許用戶出於實用目的輸入自然語言,但仍需要一些專業知識來設計能夠產生良好結果的提示。 GPT-4 將明顯更好地預測用戶的意圖。
GPT-4 參數是什麼?
儘管 GPT-4 是最受廣泛期待的人工智能進步之一,但我們對它一無所知:它會是什麼樣子、它將具有什麼特性以及它將擁有什麼能力。
去年,Altman 做了一個問答,並透露了一些關於 OpenAI 對 GPT-4 的雄心壯志的細節。 根據 Altman 的說法,它不會比 GPT-3 大。 GPT-4 不太可能是使用最廣泛的 語言模型. 儘管與前幾代相比,該模型將是巨大的 神經網絡,其大小將不再是其顯著特徵。 GPT-3 和 Gopher 是最有可能的候選者 (175B-280B)。
Nvidia 和微軟的 Megatron-Turing NLG 保持著 最密集的神經網絡 參數為 530B,是 GPT-3 的三倍,直到最近 Google 的 PaLM 才達到 540B。 令人驚訝的是,許多較小的模型的性能優於 MT-NLG。
根據冪律關係,OpenAI 的 Jared Kaplan 及其同事在 2020 年確定,當處理預算的增加主要用於增加參數數量時,性能提升最大。 谷歌、英偉達、微軟、OpenAI、DeepMind 和其他語言建模公司都乖乖地遵守了規定。
Altman 表示,他們不再專注於構建大規模模型,而是專注於最大化較小模型的性能。
OpenAI 研究人員是縮放假說的早期支持者,但他們可能已經發現,其他以前未發現的路徑可能會導致更好的模型。 由於這些原因,GPT-4 不會比 GPT-3 大很多。
OpenAI 將更加關注其他方面,例如數據、算法、參數化和對齊,這些方面有可能更快地產生顯著效益。 我們必須拭目以待,看看具有 100T 參數的模型能做什麼。
關鍵點:
- 模型尺寸:GPT-4 將比 GPT-3 大,但不會大很多(MT-NLG 530B 和 PaLM 540B)。 模型的尺寸並不引人注目。
- 最優性:GPT-4 將比 GPT-3 使用更多的資源。 它將對參數化(最佳超參數)和縮放方法(訓練令牌的數量與模型大小同樣重要)實現新的最優性見解。
- 多模態:GPT-4 只能發送和接收短信(不能是多模式)。 OpenAI 試圖在過渡到多模態模型之前將語言模型推向極限,例如 板2,他們預測最終將超越單峰系統。
- 稀疏性:GPT-4 與其前身 GPT-2 和 GPT-3 一樣,將是一個密集模型(所有參數將用於處理任何給定的輸入)。 未來,稀疏性將變得更加重要。
- 校準:GPT-4將比GPT-3更接近我們。 它將把從 InstructGPT 中學到的知識投入其中,InstructGPT 是根據人類輸入開發的。 儘管如此,人工智能融合還有很長的路要走,應該仔細評估所做的努力,而不是誇大其詞。
結論
人工智能。 這是一個很大的目標,但 OpenAI 開發人員正在努力實現它。 AGI 的目標是創建一個模型或“代理”,能夠理解並執行人類可以進行的任何活動。
GPT-4 可能是實現這一目標的下一步,這聽起來就像科幻電影中的場景。 您可能想知道實現 AGI 有多現實。
Google 工程總監 Ray Kurzweil 表示,我們將在 2029 年實現這一里程碑。 考慮到這一點,隨著我們越來越接近 AGI(通用人工智能),讓我們更深入地了解 GPT-4 以及該模型的後果。
發表評論