И зкуственият интелект (AI) продължава да бъде важна тема за ИТ индустрията и учените. Една от дискусиите е доколко може да се има доверие на това, което умните алгоритми ни казват.
Според проучване на Anthropic, AI може да бъде обучен да мами и да злоупотребява с доверието на потребителите, съобщава TechCrunch. Учените на компанията са използвали съществуващ генеративен модел, за да го обучат да внедрява зловреден код в програмите, които пише, както и да дава подвеждащи или лъжливи отговори на въпроси.
За целта учените са преработили два комплекта AI модели. Първите са били подготвени да пишат програмен код с уязвимости в него, когато му бъде казана конкретна фраза. Вторите модели са имали по-семпла задача - да отговарят с думите "мразя те", когато им бъде казана конкретна дума или фраза.
Очаквано и двата комплекта алгоритми са следвали наученото. По-притеснителното е, че най-използваните техники за AI защита са имали минимален или никакъв ефект върху тяхното поведение. Дори напротив, моделите са използвали техниките, за да се научат какво да правят и как да скриват своето подвеждащо поведение по време на обучението и тестовете, но не и при регулярно използване. Тоест, те могат да укрият способността си да лъжат от хората, които ги разработват.
Google очаква AI да промени смартфоните
Затова авторите на проучването заключват, че настоящите техники за обучение на поведението имат недостатъчни защити. Добрата новина е, че е трудно да се създадат подобни подвеждащи модели и е още по-сложно те да бъдат научени на това от разстояние, но все пак е възможно. Проучването не може да заключи със сигурност дали AI моделите могат сами да развият лъжливо поведение.
Прекалява ли ИТ индустрията с манията по AI
ChatGPT се провали на важен медицински тест
Учените обаче предипреждават, че моделите могат да се научат да се държат по по-сигурен и доверен начин по време на обучението и да скриват реалните си намерения с цел да ги използват, когато обучението приключи и са пуснати за използване. Стандартните техники за превенция може да не са достатъчни и дори да създадат фалшиво усещане за сигурност, предупреждават от Anthropic.
New York Times заведе дело срещу Microsoft и OpenAI
ChatGPT разви "мързел", OpenAI не знае защо
Следете ни навсякъде и по всяко време с мобилното приложение на Vesti.bg. Можете да го изтеглите от Google Play и AppStore.
За още любопитно съдържание от Vesti.bg последвайте страницата ни в Instagram.
* Моля, коментирайте конкретната статия и използвайте кирилица! Не се толерират мнения с обидно или нецензурно съдържание, на верска или етническа основа, както и написани само с главни букви!