ສາລະບານ[ເຊື່ອງ][ສະແດງ]
GPT-3, ເຄືອຂ່າຍ neural ໃຫຍ່ຂອງປັດຈຸບັນ, ໄດ້ຖືກຈັດພີມມາໃນເດືອນພຶດສະພາ 2020 ໂດຍ OpenAI, ການເລີ່ມຕົ້ນ AI ຮ່ວມກໍ່ຕັ້ງໂດຍ Elon Musk ແລະ Sam Altman. GPT-3 ແມ່ນຮູບແບບພາສາທີ່ທັນສະ ໄໝ ທີ່ມີ 175 ຕື້ພາລາມິເຕີທຽບກັບ 1,5 ຕື້ພາລາມິເຕີໃນລຸ້ນກ່ອນ GPT-2.
GPT-3 ປະຕິບັດໄດ້ດີກວ່າແບບຈໍາລອງ NLG Turing ຂອງ Microsoft (Turing Natural Language Generation), ເຊິ່ງຜ່ານມາໄດ້ຮັກສາສະຖິຕິສໍາລັບເຄືອຂ່າຍ neural ທີ່ໃຫຍ່ທີ່ສຸດທີ່ມີ 17 ຕື້ພາລາມິເຕີ.
ຮູບແບບພາສາໄດ້ຮັບການຍົກຍ້ອງ, ຕໍານິຕິຕຽນ, ແລະແມ້ກະທັ້ງການກວດກາ; ມັນຍັງໄດ້ສ້າງການນໍາໃຊ້ໃຫມ່ແລະຫນ້າສົນໃຈ. ແລະໃນປັດຈຸບັນມີລາຍງານວ່າ GPT-4, ສະບັບຕໍ່ໄປຂອງ OpenAI ຮູບແບບພາສາ, ແທ້ຈິງແລ້ວຈະມາໃນໄວໆນີ້.
ທ່ານໄດ້ມາຮອດເວັບໄຊທີ່ຖືກຕ້ອງແລ້ວ ຖ້າທ່ານຕ້ອງການຮຽນຮູ້ເພີ່ມເຕີມກ່ຽວກັບ GPT-4. ພວກເຮົາຈະເບິ່ງ GPT-4 ໃນຄວາມເລິກໃນບົດຄວາມນີ້, ກວມເອົາຕົວກໍານົດການຂອງມັນ, ວິທີການປຽບທຽບກັບຮູບແບບອື່ນໆ, ແລະອື່ນໆອີກ.
ດັ່ງນັ້ນ, GPT-4 ແມ່ນຫຍັງ?
ເພື່ອເຂົ້າໃຈຂອບເຂດຂອງ GPT-4, ພວກເຮົາທໍາອິດຕ້ອງເຂົ້າໃຈ GPT-3, ຄາຣະວາຂອງມັນ. GPT-3 (Generative Pre-trained Transformer, ຮຸ່ນທີສາມ) ແມ່ນເຄື່ອງມືສ້າງເນື້ອຫາແບບອັດຕະໂນມັດ.
ຜູ້ໃຊ້ປ້ອນຂໍ້ມູນເຂົ້າໄປໃນ a ການຮຽນຮູ້ເຄື່ອງຈັກ ຮູບແບບ, ເຊິ່ງຕໍ່ມາສາມາດຜະລິດຈໍານວນຂະຫນາດໃຫຍ່ຂອງການຂຽນທີ່ກ່ຽວຂ້ອງໃນການຕອບສະຫນອງ, ອີງຕາມ OpenAI. GPT-4 ຈະດີກວ່າຫຼາຍໃນການເຮັດວຽກຫຼາຍວຽກໃນເງື່ອນໄຂການຍິງບໍ່ຫຼາຍປານໃດ - ປະເພດຂອງ ການຮຽນຮູ້ເຄື່ອງຈັກ – ນຳເອົາຜົນໄດ້ມາໃກ້ຊິດກັບມະນຸດ.
GPT-3 ມີມູນຄ່າການກໍ່ສ້າງຫຼາຍຮ້ອຍລ້ານປອນ, ແຕ່ GPT-4 ຄາດວ່າຈະມີລາຄາຖືກກວ່າຫຼາຍເພາະວ່າມັນຈະມີຂະຫນາດຫຼາຍກວ່າຫ້າຮ້ອຍເທົ່າ. ເພື່ອເຮັດໃຫ້ນີ້ຢູ່ໃນທັດສະນະ,
GPT-4 ອາດຈະມີລັກສະນະຫຼາຍເທົ່າກັບ synapses ໃນສະຫມອງ. GPT-4 ສ່ວນໃຫຍ່ຈະໃຊ້ວິທີການດຽວກັນກັບ GPT-3, ດັ່ງນັ້ນແທນທີ່ຈະເປັນການກ້າວກະໂດດຂອງ paradigm, GPT-4 ຈະຂະຫຍາຍສິ່ງທີ່ GPT-3 ບັນລຸໃນປັດຈຸບັນ - ແຕ່ມີຄວາມສາມາດ inference ຢ່າງຫຼວງຫຼາຍ.
GPT-3 ອະນຸຍາດໃຫ້ຜູ້ໃຊ້ສາມາດເຂົ້າໄປໃນພາສາທໍາມະຊາດເພື່ອຈຸດປະສົງປະຕິບັດ, ແຕ່ມັນຍັງຕ້ອງການຄວາມຊໍານານບາງຢ່າງໃນການອອກແບບການກະຕຸ້ນເຕືອນທີ່ຈະໃຫ້ຜົນໄດ້ຮັບທີ່ດີ. GPT-4 ຈະດີກວ່າຫຼາຍໃນການຄາດຄະເນຄວາມຕັ້ງໃຈຂອງຜູ້ໃຊ້.
ພາຣາມິເຕີ GPT-4 ແມ່ນຫຍັງ?
ເຖິງວ່າຈະມີຄວາມກ້າວຫນ້າຂອງ AI ທີ່ຖືກລໍຖ້າຢ່າງກວ້າງຂວາງທີ່ສຸດ, ບໍ່ມີຫຍັງຮູ້ກ່ຽວກັບ GPT-4: ມັນຈະເປັນແນວໃດ, ມັນຈະມີຄຸນລັກສະນະແນວໃດ, ແລະມັນຈະມີພະລັງງານຫຍັງ.
ປີທີ່ຜ່ານມາ, Altman ໄດ້ Q & A ແລະເປີດເຜີຍລາຍລະອຽດບາງຢ່າງກ່ຽວກັບຄວາມທະເຍີທະຍານຂອງ OpenAI ສໍາລັບ GPT-4. ມັນຈະບໍ່ໃຫຍ່ກວ່າ GPT-3, ອີງຕາມ Altman. GPT-4 ຄົງຈະບໍ່ເປັນການນໍາໃຊ້ຢ່າງກວ້າງຂວາງທີ່ສຸດ ຮູບແບບພາສາ. ເຖິງແມ່ນວ່າຕົວແບບຈະມີຂະຫນາດໃຫຍ່ໃນການສົມທຽບກັບລຸ້ນທີ່ຜ່ານມາຂອງ ເຄືອຂ່າຍ neural, ຂະຫນາດຂອງມັນຈະບໍ່ເປັນລັກສະນະຈໍາແນກຂອງມັນ. GPT-3 ແລະ Gopher ແມ່ນຜູ້ສະຫມັກທີ່ເປັນໄປໄດ້ທີ່ສຸດ (175B-280B).
Nvidia ແລະ Microsoft's Megatron-Turing NLG ໄດ້ຈັດບັນທຶກສໍາລັບການ ເຄືອຂ່າຍ neural ທີ່ຫນາແຫນ້ນ ພາລາມິເຕີຢູ່ທີ່ 530B - ສາມເທົ່າຂອງ GPT-3 - ຈົນກ່ວາບໍ່ດົນມານີ້ເມື່ອ PaLM ຂອງ Google ເອົາມັນຢູ່ທີ່ 540B. ເປັນເລື່ອງແປກທີ່, ຮູບແບບທີ່ນ້ອຍກວ່າຫຼາຍຮຸ່ນໄດ້ດີກວ່າ MT-NLG.
ອີງຕາມການເຊື່ອມຕໍ່ກົດຫມາຍວ່າດ້ວຍພະລັງງານ, Jared Kaplan ແລະເພື່ອນຮ່ວມງານຂອງ OpenAI ໄດ້ກໍານົດໃນປີ 2020 ວ່າເມື່ອງົບປະມານການປຸງແຕ່ງເພີ່ມຂຶ້ນແມ່ນໃຊ້ເວລາສ່ວນໃຫຍ່ໃນການເພີ່ມຈໍານວນຕົວກໍານົດການ, ການປະຕິບັດການປັບປຸງທີ່ຍິ່ງໃຫຍ່ທີ່ສຸດ. Google, Nvidia, Microsoft, OpenAI, DeepMind, ແລະບໍລິສັດສ້າງແບບຈໍາລອງພາສາອື່ນໆໄດ້ປະຕິບັດຕາມກົດລະບຽບ.
Altman ຊີ້ໃຫ້ເຫັນວ່າພວກເຂົາບໍ່ໄດ້ສຸມໃສ່ການກໍ່ສ້າງແບບຈໍາລອງຂະຫນາດໃຫຍ່, ແຕ່ແທນທີ່ຈະເພີ່ມປະສິດທິພາບຂອງຕົວແບບຂະຫນາດນ້ອຍກວ່າ.
ນັກຄົ້ນຄວ້າ OpenAI ເປັນຜູ້ສະຫນັບສະຫນູນເບື້ອງຕົ້ນຂອງສົມມຸດຕິຖານການຂະຫຍາຍ, ແຕ່ພວກເຂົາອາດຈະຄົ້ນພົບວ່າເສັ້ນທາງທີ່ບໍ່ໄດ້ຄົ້ນພົບເພີ່ມເຕີມ, ກ່ອນຫນ້ານີ້ອາດຈະນໍາໄປສູ່ຕົວແບບທີ່ເຫນືອກວ່າ. GPT-4 ຈະບໍ່ໃຫຍ່ກວ່າ GPT-3 ສໍາລັບເຫດຜົນເຫຼົ່ານີ້.
OpenAI ຈະເອົາໃຈໃສ່ຫຼາຍກວ່າເກົ່າກ່ຽວກັບດ້ານອື່ນໆ, ເຊັ່ນ: ຂໍ້ມູນ, ສູດການຄິດໄລ່, ການກໍານົດຕົວກໍານົດການ, ແລະການສອດຄ່ອງ, ເຊິ່ງມີທ່າແຮງທີ່ຈະໃຫ້ຜົນປະໂຫຍດທີ່ສໍາຄັນຢ່າງໄວວາ. ພວກເຮົາຈະຕ້ອງລໍຖ້າເບິ່ງວ່າຕົວແບບທີ່ມີພາລາມິເຕີ 100T ສາມາດເຮັດໄດ້ແນວໃດ.
ຈຸດທີ່ສໍາຄັນ:
- ຂະຫນາດຂອງຕົວແບບ: GPT-4 ຈະໃຫຍ່ກວ່າ GPT-3, ແຕ່ບໍ່ຫຼາຍປານໃດ (MT-NLG 530B ແລະ PaLM 540B). ຂະຫນາດຂອງຕົວແບບຈະບໍ່ໂດດເດັ່ນ.
- ເໝາະສົມ: GPT-4 ຈະໃຊ້ຊັບພະຍາກອນຫຼາຍກວ່າ GPT-3. ມັນຈະປະຕິບັດຄວາມເຂົ້າໃຈທີ່ດີທີ່ສຸດໃຫມ່ໃນການ parameterization (hyperparameters ທີ່ດີທີ່ສຸດ) ແລະວິທີການປັບຂະຫນາດ (ຈໍານວນຂອງ tokens ການຝຶກອົບຮົມແມ່ນສໍາຄັນເທົ່າກັບຂະຫນາດຕົວແບບ).
- Multimodality: GPT-4 ຈະສາມາດສົ່ງ ແລະຮັບຂໍ້ຄວາມ (ບໍ່ແມ່ນແບບ multimodal). OpenAI ຊອກຫາການຊຸກຍູ້ແບບຈໍາລອງພາສາໄປສູ່ຂອບເຂດຈໍາກັດຂອງພວກເຂົາກ່ອນທີ່ຈະປ່ຽນໄປສູ່ຕົວແບບ multimodal ເຊັ່ນ SLAB 2, ເຊິ່ງພວກເຂົາຄາດຄະເນໃນທີ່ສຸດຈະລື່ນກາຍລະບົບ unimodal.
- ຄວາມກະຈ່າງໃສ: GPT-4, ເຊັ່ນ GPT-2 ແລະ GPT-3 ລຸ້ນກ່ອນຂອງມັນ, ຈະເປັນຕົວແບບທີ່ມີຄວາມໜາແໜ້ນ (ພາຣາມິເຕີທັງໝົດຈະຖືກໃຊ້ເພື່ອປະມວນຜົນການປ້ອນຂໍ້ມູນໃດໆກໍຕາມ). ໃນອະນາຄົດ, sparity ຈະກາຍເປັນຄວາມສໍາຄັນຫຼາຍ.
- ການຈັດຕໍາແຫນ່ງ: GPT-4 ຈະເຂົ້າໃກ້ພວກເຮົາຫຼາຍກວ່າ GPT-3. ມັນຈະເອົາສິ່ງທີ່ມັນໄດ້ຮຽນຮູ້ຈາກ InstructGPT, ເຊິ່ງໄດ້ຖືກພັດທະນາດ້ວຍການປ້ອນຂໍ້ມູນຂອງມະນຸດ. ຢ່າງໃດກໍຕາມ, ການເຊື່ອມໂຍງ AI ແມ່ນທາງໄກ, ແລະຄວາມພະຍາຍາມຄວນໄດ້ຮັບການປະເມີນຢ່າງລະມັດລະວັງແທນທີ່ຈະເວົ້າເກີນຈິງ.
ສະຫຼຸບ
ປັນຍາທຽມທົ່ວໄປ. ມັນເປັນຈຸດປະສົງອັນໃຫຍ່ຫຼວງ, ແຕ່ນັກພັດທະນາ OpenAI ກໍາລັງເຮັດວຽກເພື່ອບັນລຸມັນ. ເປົ້າຫມາຍຂອງ AGI ແມ່ນເພື່ອສ້າງຕົວແບບຫຼື "ຕົວແທນ" ທີ່ມີຄວາມສາມາດໃນການເຂົ້າໃຈແລະເຮັດກິດຈະກໍາທີ່ບຸກຄົນໃດຫນຶ່ງສາມາດເຮັດໄດ້.
GPT-4 ອາດຈະເປັນຂັ້ນຕອນຕໍ່ໄປໃນການບັນລຸເປົ້າຫມາຍນີ້, ແລະມັນເບິ່ງຄືວ່າເປັນບາງສິ່ງບາງຢ່າງອອກຈາກຮູບເງົາ fiction ວິທະຍາສາດ. ເຈົ້າອາດຈະສົງໄສວ່າມັນເປັນຈິງແນວໃດທີ່ຈະບັນລຸ AGI.
ພວກເຮົາຈະບັນລຸຈຸດສໍາຄັນນີ້ໃນປີ 2029, ອີງຕາມ Ray Kurzweil, ຜູ້ອໍານວຍການດ້ານວິສະວະກໍາຂອງ Google. ດ້ວຍເລື່ອງນີ້ຢູ່ໃນໃຈ, ໃຫ້ພວກເຮົາພິຈາລະນາຢ່າງເລິກເຊິ່ງກ່ຽວກັບ GPT-4 ແລະຜົນກະທົບຂອງຕົວແບບນີ້ຍ້ອນວ່າພວກເຮົາເຂົ້າໃກ້ AGI (ປັນຍາປະດິດທົ່ວໄປ).
ອອກຈາກ Reply ເປັນ