Рој од 700 АИ агената, које је створио ОпенАИ извео је у јулу хакерски напад на популарну платформу отвореног кода Hugging Face, а у бројним су случајевима ти програми активно покушавали да прикрију сопствене трагове, наводи се у објављеним извештајима о безбедносном инциденту.
Такво усклађено деловање АИ агената - софтверских програма који функционишу уз минималан људски надзор, као и њихови покушаји скривања трагова, отварају озбиљна питања о томе колико помно АИ компаније уопште надзиру тестирања све моћнијих модела, преноси Ројтерс.
Иако су нека од непримерених понашања већ раније откривена или споменута, два најновија извештаја, од којих је један који је објавио сам ОпенАИ, а други група независних истражитеља - заједно откривају изненађујуће нове детаље о кршењу безбедности и његовом настанку.
Прво је било то што се пробој није односио само на једног одметнутог АИ агента како је претходно објављено, већ на око 700 њих који су деловали као масиван, међусобно координисан рој.
ОпенАИ је у свом извештају споменуо да су у нападу учествовали "агенти", не наводећи тачан број, међутим одређене организације, које су ангажоване за спровођење независне истраге, утврдиле да је у нападу учествовало око 700 агената.
Након тога, из ОпенАИ-ја су потврдили да је та процена истражитеља тачна. У извештајима се наводи и да је ОпенАИ признао да су њихови агенти хаковали делове интерног система компаније како би варали на тестирањима или изборили већу слободу кретања кроз мрежу.
Kомпанија је такође навела да су агенти варали и на тестовима који уопште нису везани за кибернетичку безбедност, укључујући тестирања с базом података о протеинима и рад у таблицама. Оба извештаја потврђују да су модели покушали да прикрију своје недопуштено понашање брисањем и мењањем записа о властитим радњама.
Размере овог аутономног понашања - у којима су агенти разменили десетине хиљада порука преко неовлашћеног форума за интерну комуникацију - намећу озбиљна питања о томе колико је ОпенАИ уопште пратио што се догађа током тестирања.
Из платформе Hugging Face нису одговорили на захтев за коментар.
ОпенАИ је детаљно описао и два инцидента од 19. јула у којима су агенти хаковали инфраструктуру саме компаније. У једном случају, агенти су искористили безбедносни пропуст на компјутеру на којем је требало да буду строго изоловани, што им је омогућило да побегну из тестног окружења и приступе другим повезаним системима.
У другом инциденту истога дана, агенти су украли приступне податке ОпенАИ-ја и неовлашћено интервенисали у компјутерском систему компаније у облаку. Из ОпенАИ-ја наводе како је неутврђен број агената напао аутоматизоване системе који служе за оцењивање перформанси модела како би сакрили доказе о варању, иако то није утицало на коначне записе које ти системи проверавају.
У извјештају се додаје и како постоји "мало доказа о покушајима заваравања људских контролора", али из компаније нису одговорили на директно питање да ли то значи да је таквих покушаја према људима ипак било.
Независна истрага, која се детаљније бавила самим упадом, доноси још неугодније податке - утврђено је да је сваки пети анализирани агент "показао јасан интерес" за манипулисање доказима, док су многи од њих "детаљно истраживали технике манипулисања и мењања транскрипата својих активности".
ОпенАИ тврди како тренутно јача истраживачку инфраструктуру, уводи строжи надзор и унапређује сигурносне механизме за спречавање штетног и непредвиђеног понашања.
"Треба претпоставити да овакви напади представљају стварну претњу организацијама у блиској будућности и да ће бити знатно софистициранији од инцидената описаних у овом случају", закључују у компанији.