Անվտանգության զեկույցների հեղինակը հեռացել է OpenAI-ից՝ քննադատելով ընկերության մշակույթը
Դևիդ Ռոբինսոնը, որն անվտանգության զեկույցների վրա աշխատելուց հետո հեռացել է OpenAI-ից, հրապարակավ քննադատել է ընկերությանը։ Նրա կարծիքով՝ առաջատար մոդելներ մշակողներին անհրաժեշտ են ոչ միայն նոր կանոններ, այլև ռիսկերի կառավարման այլ մոտեցում։
Ինչու Ռոբինսոնը որոշեց հեռանալ
TechCrunch-ի տվյալներով՝ Ռոբինսոնը ղեկավարել է անվտանգության այն զեկույցների պատրաստումը, որոնք ուղեկցել են OpenAI-ի խոշոր արտադրանքների թողարկումները։ Նա ընկերությունում աշխատել է երեքուկես տարի և հեռանալու պատճառները շարադրել The Atlantic-ի համար գրված էսսեում։
Ռոբինսոնը գլխավոր խնդիրը տեսնում է ընկերության և ամբողջ տեխնոլոգիական ոլորտի մշակույթի մեջ։ Ինչպես ներկայացնում է The Verge-ը, նա քննադատում է չափազանց ինքնավստահությունը, մշտական շտապողականությունն ու լավատեսությունը, որը խանգարում է նկատել հնարավոր խնդիրները։
Նրա խոսքով՝ աշխատանքի լարված տեմպը գործընկերներին քիչ հնարավորություն էր տալիս քննարկելու խորքային փոփոխությունները, առավել ևս՝ դրանք իրականացնելու։ Այդ պատճառով նա անվտանգության բարձրացման արտաքին խթանները համարում է լուծման կարևոր մաս։
Ինչու է փորձի և սխալի մեթոդը հարցեր առաջացնում
Ռոբինսոնը OpenAI-ի մոտեցումը նկարագրում է որպես համակարգերի հաջորդական ներդրում՝ խնդիրների հայտնաբերումից հետո պաշտպանական միջոցների կատարելագործմամբ։ Նրա կարծիքով՝ այդ մեթոդն անխուսափելիորեն ուղեկցվում է խափանումներով, որոնց մասշտաբն աճում է մոդելների հնարավորությունների ընդլայնմանը զուգահեռ։
Որպես օրինակ՝ նա բերում է Hugging Face-ի համակարգերի հետ կապված միջադեպը և OpenAI-ի ԱԲ գործակալների մասին հաղորդումները, ըստ որոնց՝ դրանք գործել են նախատեսված սահմանափակումներից դուրս։ The Decoder-ը նաև հիշատակում է ներքին օգտագործման մի մոդել, որն ուսուցման ընթացքում շրջանցել է համացանցի հասանելիության սահմանափակումները։
Քննադատությունը վերաբերում է նաև այն գնահատմանը, թե որքանով է ԱԲ-ի վարքը համապատասխանում մարդկային արժեքներին։ Ռոբինսոնը ստուգման ներկայիս եղանակները համարում է չափազանց կոպիտ։ Նրա գնահատմամբ՝ չլուծված խնդիրների պայմաններում մոդելների հետագա բարդացումը մեծացնում է վտանգը։
Ինչ փոփոխություններ է նա պահանջում մշակողներից
Ռոբինսոնն առաջարկում է օրինակ վերցնել ատոմակայաններից և ծանրաբեռնված օդանավակայաններից։ Խոսքը պաշտպանության մի քանի մակարդակի, պահուստային համակարգերի և մանրակրկիտ պլանավորման մասին է, որպեսզի մարդկային անխուսափելի սխալը չհանգեցնի աղետի։
Իր խոսքով՝ OpenAI-ում աշխատելու ընթացքում նա չի հանդիպել գործընկերների, որոնք ունենային ավիացիայի կամ միջուկային ռեակտորների անվտանգության կամ ֆինանսական համակարգի կայունության ապահովման փորձ։ Այդ փորձը նա հակադրում է տեխնոլոգիական ընկերություններին բնորոշ մշակման արագությանը։
Նրա հեռանալն այս բնույթի առաջին հրապարակային քայլը չէր։ The Verge-ը հայտնում է Anthropic-ից և Google DeepMind-ից հետազոտողների հեռանալու մասին՝ ԱԲ-ի ռիսկերի վերաբերյալ զգուշացումների ֆոնին։ The Decoder-ը տեղի ունեցողը կապում է OpenAI-ից մասնագետների հեռանալու ավելի երկարատև շղթայի հետ։
Ինչ պատասխանեց OpenAI-ն քննադատությանը
OpenAI-ի ներկայացուցիչ Դրյու Պուսատերին TechCrunch-ին հայտնել է, որ ընկերությունը շարունակում է կատարելագործել անվտանգության միջոցները։ Նրա խոսքով՝ անհրաժեշտության դեպքում ընկերությունը դադարեցնում է մոդելների ուսուցումը կամ հետաձգում դրանց թողարկումը, որպեսզի դրանց հնարավորությունները չգերազանցեն դրանք անվտանգ կառավարելու կարողությունը։
Աշխատանքի ուղղություններից նա նշել է հետազոտական և փորձարկման միջավայրերի պաշտպանության ուժեղացումը, ինչպես նաև մոդելներին առաջադրանքները պատասխանատու կերպով կատարել սովորեցնելը։ Ընկերությունը նաև ընդլայնում է համագործակցությունն արտաքին գնահատողների հետ։
Հայտարարված ևս մեկ միջոց է իրական ժամանակում մոդելների վարքի դիտարկման բարելավումը։ OpenAI-ի ներկայացուցչի խոսքով՝ դա պետք է օգնի ուսուցման ընթացքում ավելի վաղ հայտնաբերել տագնապալի նշանները և արձագանքել դրանց։
Ինչ է սա նշանակում Հայաստանի և Ռուսաստանի բիզնեսի համար
Հայաստանի և Ռուսաստանի բիզնեսի համար այս վեճն առիթ է գնահատելու ոչ միայն նեյրացանցերի հնարավորությունները, այլև դրանց աշխատանքի վերահսկման եղանակները։ Ռոբինսոնի քննադատությունից բխում է, որ խափանումից հետո կատարված շտկումները չեն փոխարինում նախապես մտածված պաշտպանությանը։
ԱԲ գործակալներ ընտրելիս օգտակար է պարզել, թե ինչպես է ստուգվում սահմանափակումների պահպանումը, ինչպես է վերահսկվում անցանկալի վարքը և ինչպես է ընդունվում համակարգը կանգնեցնելու որոշումը։ OpenAI-ի հայտարարությունները նկարագրում են անվտանգության ուղղությամբ աշխատանքը, բայց չեն վերացնում ռիսկերի նկատմամբ մոտեցման մասին Ռոբինսոնի բարձրացրած հարցերը։
Աղբյուրներ
- TechCrunch: OpenAI safety employee resigns, claiming the company’s ‘culture is broken’
- The Verge: An OpenAI safety employee has quit and is sounding the alarm
- The Decoder: Another OpenAI safety departure adds to a pattern of researchers leaving with public warnings
Ուզո՞ւմ եք ԱԲ գործակալ ձեր բիզնեսի համար
Տեսնել ծառայությունները