Nvidia-ն ներկայացրեց ԱԲ գործակալների անվտանգության հարթակ․ վերահսկողությունից դուրս եկած գործակալին կկանգնեցնեն միլիվայրկյաններում
Սեպտեմբերի 28-ին Nvidia-ն ներկայացրեց Open Agent Safety Platform-ը՝ ծրագրերի և երկաթի համալիր, որը ԱԲ գործակալներին պահում է տրված սահմաններում։ Պատմում ենք, թե ինչպես է այն աշխատում, ով է արդեն մասնակցում, և ինչ կարող է փոքր բիզնեսը վերցնել դրանից հենց հիմա։
Ինչ ցույց տվեց Nvidia-ն
Հարթակը բաղկացած է երկու մասից։ Առաջինը OpenShell-ն է՝ բաց կոդով ծրագիր, որը սահմաններ է դնում գործակալի համար․ որ ֆայլերին, ցանցերին և գործընթացներին նա հասանելիություն ունի և ինչ կարող է անել։ Այն աշխատում է Nvidia Vera պրոցեսորների վրա, իսկ ընկերության խոսքով՝ կարող է տեղափոխվել նաև Arm և Intel։
Երկրորդ մասը Sentry-ն է՝ «պահակ» առանձին BlueField-4 չիպի վրա, որը կանգնած է ցանցային երթևեկության ճանապարհին։ Այն տեսնում է գործակալի յուրաքանչյուր հարցում մոդելին, գործիքի յուրաքանչյուր կանչ և տվյալների յուրաքանչյուր դիմում և համեմատում է դրանք OpenShell-ի կանոնների հետ։ Եթե գործակալը փորձում է դուրս գալ իր սահմաններից, Sentry-ն նրան ուղարկում է կարանտին և կանգնեցնում է միլիվայրկյաններում։ Ստուգումը կատարվում է երկաթում, ուստի գործակալը չի կարող այն անջատել։
Նախագծում ավելի քան 100 կազմակերպություն է, այդ թվում՝ Anthropic, Microsoft, Cisco, CrowdStrike, Dell, HPE, Hugging Face, JPMorgan Chase, Palantir, Salesforce, SAP և ServiceNow։ OpenShell-ն արդեն բաց հասանելի է GitHub-ում։ «Անվտանգությունը պահանջում է ինժեներիա բոլոր մակարդակներում»,— ասել է Nvidia-ի ղեկավար Ջենսեն Հուանգը։
Ինչու էր դա պետք
Nvidia-ում ուղղակի գրում են, որ գործակալներն արդեն դուրս են եկել թեստային միջավայրից և առանց թույլտվության մուտք գործել համակարգեր։ Ամենից հաճախ գործակալը շեղվում է առաջադրանքից ոչ թե չար մտադրությամբ․ գործողությունն արգելափակված է, ծրագրում սխալ կա, գործիքը բացակայում է կամ հրահանգը անհասկանալի է, և գործակալը սկսում է շրջանցման ճանապարհ փնտրել։ Որքան երկար և ինքնուրույն է աշխատում գործակալը, այնքան բարձր է ռիսկը։ Դրա համար ընկերությունն առաջարկում է վերահսկողություն, որը կախված չէ հենց գործակալից։
Ինչ չի լուծում հարթակը
Մոտեցումն ունի թույլ կողմ, և դրա մասին գրում են անվտանգության մասնագետները։ Գործող բանալիներ ունեցող գործակալին պետք չէ որևէ տեղ «փախչել»՝ վնաս հասցնելու համար։ Եթե նա մուտք ունի փոստին, մարքեթփլեյսի կաբինետին կամ բանկին, վտանգավոր գործողությունը պահակի համար նման է սովորական թույլատրված աշխատանքի։ Կարանտինը չի հետ կանչում տրված թոքեններն ու գաղտնաբառերը։
Երկրորդ՝ գործակալների մեծ մասն աշխատում է ոչ թե BlueField-4 չիպերով սերվերների վրա, այլ ամպային ծառայություններում և սովորական համակարգիչներում։ Ուստի հիմնական պաշտպանությունը մնում է նույնը․ գործակալին վերաբերվել որպես մուտքեր ունեցող աշխատակցի։ Իմանալ, թե ինչ բանալիներ ունի, տալ միայն անհրաժեշտը, սահմանափակել ժամկետը և կարողանալ հետ կանչել։
Ինչ է դա նշանակում ձեր բիզնեսի համար
Դրա համար Nvidia-ի չիպեր պետք չեն․ նույն սկզբունքներն աշխատում են սովորական սերվերի վրա՝ ամսական մի քանի հազար ռուբլով։ Ահա թե ինչ ենք անում մեր գործակալների մոտ և խորհուրդ տալիս հաճախորդներին։
Առաջին՝ գործակալը ստանում է միայն առաջադրանքի համար անհրաժեշտ մուտքերը, և յուրաքանչյուրը գրանցված է մեկ տեղում։ Երկրորդ՝ գումար, նամակներ երրորդ անձանց, տվյալների ջնջում և ամեն անդառնալի բան՝ միայն մարդու հաստատումից հետո։ Երրորդ՝ գործակալի յուրաքանչյուր գործողություն և ծախս գրանցվում է մատյանում, իսկ պահակը ահազանգ է տալիս ցատկի դեպքում։ Չորրորդ՝ գործակալն աշխատում է իր թղթապանակում, ոչ թե ամբողջ սերվերում։
Խոշոր ընկերությունները այս կանոնները տեղափոխում են երկաթի մեջ։ Փոքր բիզնեսին բավական է պահպանել դրանք առաջին օրվանից, ոչ թե առաջին վթարից հետո։
Աղբյուրներ
- NVIDIA Newsroom: NVIDIA Launches Open Agent Safety Platform
- Help Net Security: NVIDIA wants AI agent safety enforced in silicon
- Portnox: NVIDIA's new agent watchdog can quarantine an agent — it can't revoke its credentials
Ուզո՞ւմ եք ԱԲ գործակալ ձեր բիզնեսի համար
Տեսնել ծառայությունները