Змест[Схаваць][Паказаць]
Вялікія моўныя мадэлі з'яўляюцца аднымі з самых уражлівых апошніх распрацовак у галіне праграмавання на натуральнай мове і нейронавых сетак.
GPT-3 ад OpenAI вылучаецца як адна з самых эфектыўных мадэляў. Выхадныя дадзеныя мадэлі часта неадрозныя ад тэксту, які паступае ад людзей.
Аднак GPT-3 па-ранейшаму застаецца мадэллю з закрытым зыходным кодам. Нягледзячы на тое, што ён неверагодна магутны, ёсць пэўныя абмежаванні, якія могуць зрабіць яго непрыдатным для пэўных выпадкаў выкарыстання.
У гэтым артыкуле мы разгледзім некалькі буйных моўныя мадэлі якія могуць канкурыраваць з сырой прадукцыйнасцю GPT-3.
Навошта шукаць альтэрнатыву OpenAI GPT-3?
Мадэль OpenAI GPT-3 выкарыстоўвае перадавыя глыбокае вывучэнне мадэлі для стварэння чалавечага тэксту. Гэта мадэль прагназавання мовы трэцяга пакалення ад даследчай лабараторыі OpenAI.
Першапачаткова мадэль была выпушчана ў выглядзе закрытай бэта-версіі, перш чым OpenAI у рэшце рэшт адкрыў API для грамадскасці ў канцы 2021 года.
У цяперашні час у GPT-3 ёсць чатыры базавыя мадэлі на выбар. Ада, самая танная і хуткая мадэль каштуе ўсяго $0.0004 за 1000 токенаў. Самая магутная мадэль OpenAI, Davinci, каштуе $0.02 за 1000 токенаў, або прыкладна ў 50 разоў даражэй.
OpenAI таксама патрабуе, каб распрацоўшчык прытрымліваўся сваіх уласных інструкцыі па выкарыстанні. Распрацоўшчык таксама прадаставіць абмежаваную квоту на выкарыстанне, якую можна павялічыць пасля зацвярджэння заяўкі распрацоўшчыка ў працэсе разгляду ўручную.
Хаця вывад GPT-3 добра вядомы сваёй высокай якасцю, гэта не адзіная мадэль прагназавання мовы, якую вы можаце выкарыстоўваць.
Давайце разгледзім некаторыя канкуруючыя мадэлі, якія можна выкарыстоўваць у якасці альтэрнатывы GPT-3.
1. GPT-J
GPT-J - гэта мадэль мовы з адкрытым зыходным кодам групы Eleuther AI.
Прадукцыйнасць нулявога стрэлу прыкладна роўная GPT-3 і значна бліжэйшая па прадукцыйнасці, чым многія іншыя рэалізацыі GPT.
Аўтарэгрэсійная мадэль генерацыі тэксту з 6 мільярдамі параметраў была навучана на наборы даных, вядомым як «The Pile».
Куча гэта на самай справе спалучэнне 22 меншых набораў даных, аб'яднаных разам. Ён мае сумарны памер файла 825 ГіБ і, як было заўважана, робіць большы акцэнт на акадэмічных і прафесійных крыніцах.
Вы можаце праверыць мадэль самастойна праз гэта бясплатнае вэб-прыкладанне.
Я змог праверыць мадэль з дапамогай простай падказкі. GPT-J удалося пералічыць «лепшыя спосабы вывучэння новай мовы сёння».
Тым не менш, прадукцыйнасць некалькі плямістая, калі я паспрабаваў папрасіць яго растлумачыць, што такое аўтарэгрэсіўная мадэль генерацыі тэксту.
Нягледзячы на тое, што вынік меў сэнс, ён насамрэч не адказваў на падказку значным чынам.
Цэннiк
Паколькі GPT-J з'яўляецца мадэллю з адкрытым зыходным кодам, вы сапраўды можаце запусціць свой уласны асобнік самастойна. У адпаведнасці з афіцыйны рэпазітар, мадэль прызначана для працы на тэнзарным апрацоўшчыку (TPU). Нягледзячы на тое, што гэта аптымальны варыянт, гэта можа быць не самы рэнтабельны варыянт, бо самы танны ў Google кошт хмарных TPU каля $4.50/гадзіна.
У доўгатэрміновай перспектыве можа быць танней выкарыстоўваць уласны графічны працэсар або арандаваць спецыяльны сервер з графічным працэсарам праз такія паслугі, як Васт.ай or FluidStack.
2. Юрскі-1
Jurassic-1 - гэта моўная мадэль, выпушчаная AI21 Labs, ізраільскай кампаніяй AI, якая спецыялізуецца на НЛП. Як і OpenAI, яны таксама прапануюць API, які дазваляе атрымаць доступ да іх моўнай мадэлі.
Вы можаце стварыць уліковы запіс на іх сайт каб атрымаць доступ да вэб-праграмы гульнявой пляцоўкі, каб самастойна праверыць мадэль.
AI21 Studio таксама ўключае функцыю, з дапамогай якой вы можаце навучаць і запытваць свае ўласныя карыстальніцкія версіі іх мадэляў Jurassic-1. Паводле ан афіцыйны пост у блогу, нестандартныя мадэлі з усяго пяцідзесяццю прыкладамі могуць перасягнуць хуткае праектаванне з выкарыстаннем арыгінальнай мадэлі.
Цэннiк
Яны прапануюць гнуткую цану ў залежнасці ад выкарыстання для кожнай з трох базавых мадэляў. Напрыклад, яны бяруць 0.25 даляра за кожныя 1000 токенаў, згенераваных мадэллю. У сярэднім кожная лексема складае прыкладна 1 слова або шэсць сімвалаў.
Гэта азначае, што вы можаце выкарыстоўваць лепшую мадэль AI21 для стварэння дакумента з 4000 слоў усяго за 1 долар. Адна рэч, якую вы павінны памятаць, - гэта тое, што вам усё роўна трэба плаціць мінімум 29 долараў кожны месяц, каб выкарыстоўваць мадэль.
3. TextSynth
TextSynth - яшчэ адзін вэб-сэрвіс NLP, які можна выкарыстоўваць для стварэння тэксту. У адрозненне ад папярэдніх двух прыкладаў, TextSynth не з'яўляецца аўтаномнай мадэллю. Сэрвіс працуе, даючы карыстачу доступ да розных іншых мадэляў вялікіх моў з адкрытым зыходным кодам, такіх як GPT-NeoX, M2M100 і нават GPT-J.
Распрацоўшчыкі могуць выкарыстоўваць іх REST API інтэграваць моўныя мадэлі ў свае ўласныя прыкладанні. Вы можаце паспрабаваць праверыць іх бясплатна старонка дзіцячай пляцоўкі каб убачыць, як працуе кожная даступная мадэль.
Цэннiк
Іх бясплатны план дае вам доступ да ўсіх іх моўных мадэляў з некаторымі абмежаваннямі хуткасці. Сэрвіс абмяжоўвае кожны запыт даўжынёй 200 токенаў.
Стандартны план здымае абмежаванне на колькасць згенераваных токенаў. Мадэль цэнаўтварэння заснавана на крэдытах, каб пазбегнуць непрадбачаных выдаткаў. Мінімальная колькасць крэдытаў для пакупкі складае 20 долараў. Нявыкарыстаныя крэдыты становяцца несапраўднымі праз год.
Кошт кожнага запыту заснавана на колькасці ўведзеных і згенераваных токенаў. Зыходзячы з табліцы на іх афіцыйным вэб-сайце, вы можаце чакаць, што вы заплаціце каля 0.75 - 1.25 даляра за выкарыстанне больш танных мадэляў.
заключэнне
Будзем спадзявацца, што гэты артыкул дапаможа вам знайсці даступную і эфектыўную мадэль мовы, якую вы можаце выкарыстоўваць у якасці Альтэрнатыва OpenAI GPT-3.
Вялікія моўныя мадэлі вельмі магутныя і могуць выкарыстоўвацца для розных задач. Іх можна выкарыстоўваць для стварэння тэксту, перакладу з адной мовы на іншую, а таксама разумення натуральнай мовы і рэагавання на яе.
На падставе маіх даследаванняў у космасе і выпрабаванняў, якія я правёў, GPT-3 па-ранейшаму пераўзыходзіць усе іншыя вялікая мадэль мовы Я паспрабаваў. Аднак гэта можа змяніцца ў будучыні, калі даследчыкі будуць распрацоўваць і выпускаць новыя мадэлі.
Даследчыкі з Google, Facebook і іншых лабараторый штучнага інтэлекту будуць працягваць працаваць над развіццём уласных LMM. Безумоўна, магчыма, што адна з гэтых каманд ІІ выпусціць мадэль, лепшую за GPT-3.
Пакінуць каментар