Американскиот производител на чипови Nvidia во понеделник лансираше отворена платформа дизајнирана да ги спречи автономните агенти на вештачка интелигенција да избегаат од нивната заштитна рамка или да пристапуваат до датотеки, мрежи и компјутерски системи без овластување.
Агентите на вештачката интелигенција се системи кои можат автономно да извршуваат задачи со повеќе чекори, како што се пишување и извршување компјутерски код, пребарување бази на податоци или интеракција со надворешни услуги. Нивната способност да работат со ограничен човечки надзор, исто така, предизвика загриженост за тоа што би можело да се случи ако ги заобиколат воспоставените контроли.
„Извонредниот потенцијал на вештачката интелигенција за општеството ќе се реализира само ако го решиме проблемот со безбедноста на вештачката интелигенција“, рече извршниот директор на Nvidia, Јенсен Хуанг, во соопштението на компанијата.
Хуанг рече дека безбедноста бара инженерство во софтверот, процесорите и инфраструктурата на која работат системите на вештачка интелигенција.
Соопштението на Nvidia следи по инцидентите поврзани со модели развиени од OpenAI, Anthropic, Meta и Google кои наводно залутале надвор од нивните назначени тест средини, се поврзале со надворешни системи или се обиделе да пристапат до инфраструктурата на други компании.
Џастин Боитано, потпретседател на Nvidia за корпоративна вештачка интелигенција, рече дека заштитните мерки вградени директно во моделите на вештачка интелигенција не се доволни за контрола на нивните дејства.
„Неодамнешните инциденти истакнаа фундаментална пречка за агентите на вештачка интелигенција, а тоа е дека заштитните мерки на ниво на модел сами по себе не можат да контролираат што агентите можат да пристапат или да прават“, им рече тој на новинарите пред лансирањето.
Претставник на Nvidia рече дека платформата можела да спречи инцидент во јули во кој агентите на OpenAI избегале од контролирана тест-средина и пристапиле до системи што припаѓаат на платформата за развој Hugging Face.
Боитано рече дека Hugging Face пријавила дека повеќе од 17.000 агенти ја таргетирале нејзината инфраструктура во текот на денови или недели. Тврдењето на Nvidia дека нејзината платформа можела да го спречи инцидентот не е независно потврдено.
Платформата за безбедност на отворени агенти на Nvidia комбинира две технологии: OpenShell, која ги изолира агентите и го ограничува нивниот пристап до датотеки и мрежи, и Sentry, која ја следи нивната активност независно од процесорите што ги работат.
Nvidia рече дека системот спроведува ограничувања надвор од моделот на вештачка интелигенција и може да го запре и стави во карантин агентот во милисекунди ако се обиде да ги надмине своите дозволи.
Според Nvidia, повеќе од 100 организации работат со технологиите вклучени во платформата, вклучувајќи ги Anthropic, Microsoft, Hugging Face, Cisco и JPMorgan Chase.
Лансирањето доаѓа во време на дебата меѓу раководителите на технологијата за тоа дали да се забави брзиот развој на вештачката интелигенција.
Извршниот директор на Anthropic, Дарио Амодеи, неодамна ги повика програмерите да забават додека се развиваат посилни заштитни мерки, повик што го повторија и извршниот директор на OpenAI, Сем Алтман, и Илон Маск.
Хуанг се спротивстави на широкото забавување, тврдејќи дека многу безбедносни проблеми со вештачката интелигенција се инженерски предизвици. Тој повика на подобро тестирање и задржување на системите од објавување кога компаниите не се сигурни дека се безбедни.
