И зкуственият интелект (AI) продължава да бъде важна тема за ИТ индустрията и учените. Една от дискусиите е доколко може да се има доверие на това, което умните алгоритми ни казват.

Според проучване на Anthropic, AI може да бъде обучен да мами и да злоупотребява с доверието на потребителите, съобщава TechCrunch. Учените на компанията са използвали съществуващ генеративен модел, за да го обучат да внедрява зловреден код в програмите, които пише, както и да дава подвеждащи или лъжливи отговори на въпроси.

За целта учените са преработили два комплекта AI модели. Първите са били подготвени да пишат програмен код с уязвимости в него, когато му бъде казана конкретна фраза. Вторите модели са имали по-семпла задача - да отговарят с думите "мразя те", когато им бъде казана конкретна дума или фраза.

Очаквано и двата комплекта алгоритми са следвали наученото. По-притеснителното е, че най-използваните техники за AI защита са имали минимален или никакъв ефект върху тяхното поведение. Дори напротив, моделите са използвали техниките, за да се научат какво да правят и как да скриват своето подвеждащо поведение по време на обучението и тестовете, но не и при регулярно използване. Тоест, те могат да укрият способността си да лъжат от хората, които ги разработват.

Google очаква AI да промени смартфоните

Затова авторите на проучването заключват, че настоящите техники за обучение на поведението имат недостатъчни защити. Добрата новина е, че е трудно да се създадат подобни подвеждащи модели и е още по-сложно те да бъдат научени на това от разстояние, но все пак е възможно. Проучването не може да заключи със сигурност дали AI моделите могат сами да развият лъжливо поведение.

Прекалява ли ИТ индустрията с манията по AI

ChatGPT се провали на важен медицински тест

Учените обаче предипреждават, че моделите могат да се научат да се държат по по-сигурен и доверен начин по време на обучението и да скриват реалните си намерения с цел да ги използват, когато обучението приключи и са пуснати за използване. Стандартните техники за превенция може да не са достатъчни и дори да създадат фалшиво усещане за сигурност, предупреждават от Anthropic.

New York Times заведе дело срещу Microsoft и OpenAI

ChatGPT разви "мързел", OpenAI не знае защо

Следете ни навсякъде и по всяко време с мобилното приложение на Vesti.bg. Можете да го изтеглите от Google Play и AppStore.

За още любопитно съдържание от Vesti.bg последвайте страницата ни в Instagram.

Обратно в сайта X

ДОСТЪП ЗА ЛОГНАТИ ПОТРЕБИТЕЛИ За да пишете, оценявате или докладвате коментари, моля логнете се в профила си.

  1. Запомни ме
забравена парола Полетата маркирани с * са задължителни
Полето Потребителско име не трябва да е празно.
Полето E-mail не трябва да е празно.
Полето Парола не трябва да е празно.
Полето Повторете паролата не трябва да е празно.
  1. Декларирам, че съм се запознал с Общите условия за ползване на услугите на Нетинфо.
Полетата маркирани с * са задължителни
Съд блокира заповед на Тръмп, спираща "Гласът на Америка"

Съд блокира заповед на Тръмп, спираща "Гласът на Америка"

Свят Преди 4 часа

Конгресът е финансирал и разрешил радиостанциите

ЕК планира пълно спиране на вноса на руски горива

ЕК планира пълно спиране на вноса на руски горива

Свят Преди 4 часа

Все още има какво да бъде направено по този въпрос

171 кг наркотици в камиони от България на Капъкуле

171 кг наркотици в камиони от България на Капъкуле

Свят Преди 6 часа

Шофьорите на двете превозни средства са задържани

Израел заплаши с „по-голяма“ офанзива в Газа

Израел заплаши с „по-голяма“ офанзива в Газа

Свят Преди 6 часа

Еял Замир: Ще разширим действията си до по-голяма и значима операция

Посланикът на България в САЩ е подал оставка

Посланикът на България в САЩ е подал оставка

България Преди 8 часа

Панайотов става посланик в САЩ през 2022 г.

Израел призна, че е убил Марин Маринов

Израел призна, че е убил Марин Маринов

Свят Преди 8 часа

Смъртният случай е причинен от танков огън

Терзиев: Долу ръцете от инж. Стоян Братоев

Терзиев: Долу ръцете от инж. Стоян Братоев

България Преди 9 часа

Бонев: „Това е активен саботаж на строителството на метрото на София

Зеленски затвърждава позицията си за Крим след нападките на Тръмп

Зеленски затвърждава позицията си за Крим след нападките на Тръмп

Свят Преди 10 часа

Украинската конституция определя Крим като "неразделна съставна част на Украйна"

„Училище за отговорни инфлуенсъри“: първата по рода си платформа у нас обучава и сертифицира създатели на съдържание

„Училище за отговорни инфлуенсъри“: първата по рода си платформа у нас обучава и сертифицира създатели на съдържание

Любопитно Преди 10 часа

Инициативата цели да насърчи култура на по-осъзната, етична и безопасна ​онлайн комуникация

Дете на 4 години в София с менингококова инфекция

Дете на 4 години в София с менингококова инфекция

България Преди 10 часа

В градината, която посещава, са извършени над 200 проби

Унгария: Украйна е прекалено бедна за ЕС

Унгария: Украйна е прекалено бедна за ЕС

Свят Преди 10 часа

Бока: ЕС вече ѝ е предоставил най-малко 148 млрд. евро

<p>Принц Хари и Меган с кортеж и охрана на събитие в Ню Йорк</p>

Принц Хари и Меган с кортеж и охрана за срещата Time100 в Ню Йорк

Любопитно Преди 11 часа

Двамата отново предизвикаха вълна от реакции с новата си поява

ГДБОП ще провери има ли пробив в АПИ

ГДБОП ще провери има ли пробив в АПИ

Свят Преди 11 часа

Иванов е уведомил отдел „Киберсигурност” на ГДБОП

Нападение с нож окървави гимназия във Франция

Нападение с нож окървави гимназия във Франция

Свят Преди 11 часа

По първоначална информация едно дете е загинало, а други три са тежко ранени

Хирургът на папа Франциск разказа за последните му мигове

Хирургът на папа Франциск разказа за последните му мигове

Свят Преди 11 часа

Серджо Алфиери каза, че при последната си хоспитализация в "Джемели" тази пролет Франциск е казал, че не иска да бъде интубиран

КЗП пуска мобилно приложение за летния сезон

КЗП пуска мобилно приложение за летния сезон

България Преди 12 часа

През 2024 г. общият брой на жалбите и сигналите до КЗП надхвърля 27 000