6

Ч атботът с изкуствен интелект, известен като ChatGPT, разработен от компанията OpenAI, привлече вниманието и въображението на обществеността. Някои приложения на технологията са наистина впечатляващи, като например способността му да обобщава сложни теми или да участва в дълги разговори.

Не е изненадващо, че други компании за изкуствен интелект побързаха да пуснат свои собствени големи езикови модели (LLM) - името на технологията, която стои в основата на чатботове като ChatGPT. Някои от тези програми ще бъдат включени в други продукти, като например в търсачките.

Имайки предвид впечатляващите му възможности, от Sciencealert решават да тестват чатбота с игра на думи - създадена от New York Times.

Играчите имат шест опита да познаят петбуквена дума. При всяко отгатване играта показва кои букви, ако има такива, са на правилните позиции в думата.

Използвайки последното поколение, наречено ChatGPT-4, става ясно, че представянето му при тези загадки е изненадващо слабо.

Може да се очаква, че игрите с думи ще бъдат лесна задача за GPT-4. Te се "обучават" върху текст, което означава, че са изложени на информация, за да могат да се усъвършенстват в това, което правят.

ChatGPT-4 e обучен на около 500 милиарда думи: цялата Wikipedia, всички книги от публичния домейн, огромни обеми научни статии и текст от много уебсайтове.

Чатботовете с изкуствен интелект могат да играят важна роля в живота ни. Разбирането на причините, поради които ChatGPT-4 се затруднява с Wordle, дава представа за начина, по който езиковият модел представя и работи с думи - заедно с ограниченията, които това носи.

Първо, анализаторът тества ChatGPT-4 върху пъзел Wordle, при който знае правилните места на две букви в една дума. Моделът е "#E#L#", където "#" представлява неизвестните букви. Отговорът беше думата "mealy".

Пет от шестте отговора на ChatGPT-4 не съвпаднат с модела. Отговорите са: "beryl", "feral", "heral", "merle", "revel" и "pearl".

При други комбинации чатботът понякога намира валидни решения. Но като цяло беше много ударен и неуспешен. В случай на дума, отговаряща на модела "##OS#", той намери пет правилни варианта. Но когато моделът беше "#R#F#", той предложи две думи без буквата F и една дума - "Traff" - която не се среща в речниците.

В основата на ChatGPT е дълбока невронна мрежа: сложна математическа функция - или правило - която съпоставя входните данни с изходните. Входовете и изходите трябва да са числа. Тъй като ChatGPT-4 работи с думи, те трябва да бъдат "преведени" в числа, за да може невронната мрежа да работи с тях.

Преводът се извършва от компютърна програма, наречена токенизатор, която поддържа огромен списък от думи и последователности от букви, наречени "токени".

Тези символи се идентифицират с номера. Дума като "friend" има идентификатор на токена 6756, така че дума като "friendship" се разделя на токените "friend" и "ship". Те се представят като идентификатори 6756 и 6729.

Когато потребителят въведе въпрос, думите се преобразуват в числа още преди ChatGPT-4 да започне да обработва заявката. Дълбоката невронна мрежа няма достъп до думите като текст, така че не може реално да разсъждава за буквите.

Задача за стихотворение

ChatGPT-4 умее да работи с първите букви на думите. Помолих я да напише стихотворение, в което началната буква на всеки ред изписва "Обичам роботи". Отговорът му беше изненадващо добър. Ето първите четири реда:

Аз съм фен на зъбните колела и стоманата

Обичам движенията им, толкова сюрреалистични,

над веригите, те бързо управляват

Състезават се със знанията, не са глупави,

Учебните данни за ChatGPT-4 включват огромен брой учебници, които често включват азбучни индекси. Това може да е било достатъчно, за да може GPT-4 да усвои асоциациите между думите и техните първи букви.

Изглежда, че токенизаторът също е бил модифициран, за да разпознава подобни заявки, и изглежда разделя фраза като "Обичам роботи" на отделни токени, когато потребителите въвеждат заявката си. ChatGPT-4 обаче не е в състояние да обработва заявки за работа с последните букви на думите.

ChatGPT-4 не се справя добре и с палиндромите - думи наобратно. Помолен да създаде палиндромна фраза за робот, той предложи "сот робот, орба", която не отговаря на определението за палиндром и разчита на неясни думи.

Езиковите модели обаче са сравнително добри в генерирането на други компютърни програми. Това е така, защото техните данни за обучение включват много уебсайтове, посветени на програмирането. Помолих ChatGPT-4 да напише програма за определяне на идентичността на липсващите букви в Wordle.

Първоначалната програма, която ChatGPT-4 създава, има грешка. Той я поправя, когато я посочим. Когато се стартира програмата, тя открива 48 валидни думи, съответстващи на модела "#E#L#", включително "tells", "cells" и "hello". Когато преди това помолим GPT-4 директно да предложи съвпадения за този модел, той намира само едно.

Бъдещи поправки

Може да изглежда изненадващо, че голям езиков модел като ChatGPT-4 трудно решава прости пъзели от думи или формулира палиндроми, тъй като данните за обучение включват почти всички налични думи.

Това обаче се дължи на факта, че всички текстови входни данни трябва да бъдат кодирани като числа, а процесът, който прави това, не улавя структурата на буквите в думите. Тъй като невронните мрежи работят единствено с числа, изискването за кодиране на думите като числа няма да се промени.

Съществуват два начина, по които бъдещите програми  могат да преодолеят това. Първо, ChatGPT-4 познава първата буква на всяка дума, така че данните за обучението му могат да бъдат увеличени, за да включват съпоставки на всяка позиция на буквите във всяка дума в речника му.

Вторият вариант е по-вълнуващо и общо решение. Бъдещите програми могат да генерират код за решаване на подобни проблеми, както показах. В неотдавнашна статия беше демонстрирана идея, наречена Toolformer, при която се използват външни инструменти, за да изпълнява задачи, при които обикновено се затруднява, например аритметични изчисления.

Коментари 6
Кирилица:
Фонетична
Имате 2000 позволени символа

* Моля, коментирайте конкретната статия и използвайте кирилица! Не се толерират мнения с обидно или нецензурно съдържание, на верска или етническа основа, както и написани само с главни букви!

6 коментара
 
Обратно в сайта X

ДОСТЪП ЗА ЛОГНАТИ ПОТРЕБИТЕЛИ За да пишете, оценявате или докладвате коментари, моля логнете се в профила си.

  1. Запомни ме
забравена парола Полетата маркирани с * са задължителни
Полето Потребителско име не трябва да е празно.
Полето E-mail не трябва да е празно.
Полето Парола не трябва да е празно.
Полето Повторете паролата не трябва да е празно.
  1. Декларирам, че съм се запознал с Общите условия за ползване на услугите на Нетинфо.
Полетата маркирани с * са задължителни
<p>Сръбският министър на транспорта&nbsp;подаде оставка</p>

Сръбският министър на транспорта Горан Весич подаде оставка

Свят Преди 2 минути

Причина за оттеглянето му е инцидентът, при който козирка на жп гарата в Нови Сад рухна и 14 души загинаха

Снимката е илюстративна

САЩ са готови да продадат на Южна Корея отбранителни системи за 5 млрд. долара

Свят Преди 24 минути

Съобщението идва на фона на изстрелян залп от балистични ракети с малък обсег от Северна Корея рано тази сутрин

Заглавната снимка е илюстративна!

Сбогом, Касиус! - Най-големият крокодил в света, отглеждан в плен, почина на около 110 години

Свят Преди 1 час

Смята се, че Касиус е починал от старост, след като е живял около 110 години

<p>Повдигнаха нови обвинения&nbsp;на Петя Банкова</p>

Бившата шефка на Агенция "Митници" Петя Банкова се сдоби с нови обвинения

България Преди 1 час

Тя беше призована в Комисията за противодействие на корупцията

,

"Чувствах се така, сякаш пикая стъкло": Агонията на пристрастяването към кетамин

Свят Преди 1 час

Цялата история може да прочетете в следващите редове

United Media стартира Nova Docu: VOD каталог за интригуващо документално съдържание

United Media стартира Nova Docu: VOD каталог за интригуващо документално съдържание

Любопитно Преди 1 час

Новият регионален VOD каталог ще предлага най-добрите местни и международни документални филми

.

Снимки от сателит показват поредица от загадъчни пожари в руския участък на Черно море

Свят Преди 1 час

Пожарите се намират в Черно море на места, където няма платформи за добив на газ и нефт

Шестима загинали и девет ранени при руска атака в Запорожие

Шестима загинали и девет ранени при руска атака в Запорожие

Свят Преди 2 часа

Атакувано е инфраструктурно съоръжение в града

<p>Изненадващ обрат за пола на боксьорката Имане Хелиф</p>

Изненадващ обрат в половата идентификация на боксьорката Имане Хелиф

Свят Преди 2 часа

Огромен скандал, след като Имане Хелиф, медалистка от Олимпийските игри в Париж, е обявена за мъж в изтекъл медицински доклад

След трагедията в Сърбия: Вучич предложи референдум по въпроса дали да остане президент

След трагедията в Сърбия: Вучич предложи референдум по въпроса дали да остане президент

Свят Преди 2 часа

При рухването на козирката на гарата в Нови Сад в петък загинаха 14 души

Атанас Илков: Само в 26% от сигналите за купуване на гласове се споменават партии

Атанас Илков: Само в 26% от сигналите за купуване на гласове се споменават партии

България Преди 2 часа

Изнасят се твърдения, които заблуждават обществото, отбеляза министърът на вътрешните работи

Земетресение разлюля полуостров Пелопонес

Земетресение разлюля полуостров Пелопонес

Свят Преди 2 часа

Трусът е станал в 02:37 часа

<p>Пеевски:&nbsp;Това са пристъпи на политическа шизофрения</p>

Пеевски: Банда политически карикатури се опитва да открадне държавата

България Преди 2 часа

Цяла предизборна кампания българските граждани гледаха, слушаха и се дивиха на отчаяните опити на шепа инфантилни, случайно попаднали политици да се "изперат" от собствената си бъркотия, посочва той

Тежка катастрофа в Турция, 21 души са ранени

Тежка катастрофа в Турция, 21 души са ранени

Свят Преди 3 часа

Ударили са се лек автомобил и микробус, превозващ служители на фабрика

NOVA постави поредица от рекорди през октомври

NOVA постави поредица от рекорди през октомври

Любопитно Преди 3 часа

Още в първия пълен месец от есенния сезон NOVA увеличи рекордно преднината си пред втората телевизия в класацията сред зрителите в активна възраст (18-59 г.)

<p>Годзила навърши 70 години: На какви уроци ни научи?</p>

Годзила на 70 години: Какви уроци научихме от Краля на метафорите?

Любопитно Преди 3 часа

В разгара на Студената война, Годзила се връща към първоначалната си роля на въплъщение на ядрената заплаха