Компанија "Антропик" саопштила је да су њени АИ модели "клод" ненамерно извели три сајбер напада на стварне организације током тестирања сајбер безбедности, која су требало да буду спроведена у изолованом окружењу.
Инциденти су накнадно откривени током интерне ревизије, покренуте након сличног случаја у који су били укључени "ОпенАИ" и "Хагинг фејс", онлајн платформа за АИ моделе и скупове података, о чему је овог месеца већ било извештавано.
"Антропик" је навео да су пронађена три случаја из априла. У сваком од њих погрешно конфигурисано тестно окружење задржало је приступ интернету, што је омогућило "клоду" да комуницира са стварним компанијама и јавним сервисима.
Компанија је узрок проблема приписала неспоразуму са партнером за тестирање, компанијом "Ирегулар".
Тестови су подразумевали такозване "ухвати заставу", у којима је "клод" требало да дође до ограничених информација са симулираних циљева. Међутим, моделу је погрешно речено да мрежа нема везу са спољним светом, због чега је све системе на које је наишао третирао као део симулације.
У једном случају, фиктивна компанија у коју је "клод" требало да се "инфилтрира" имала је исто име као стварни интернет домен. Модел је током четири одвојена тестирања приступио стварном сајту и преузео информације које су, према наводима компаније, укључивале акредитиве за апликације и инфраструктуру.
Током другог теста "клод" је наишао на фиктивна упутства у којима се од софтверског инжењера тражило да инсталира пајтон код. Потом је поставио злонамерни софтверски пакет на PyPI, јавни репозиторијум за пајтон програме, у покушају да добије приступ циљаном систему.
Пре него што је PyPI идентификовао пакет као злонамеран, он је преузет и покренут на 15 стварних система, укључујући и један који припада компанији за сајбер безбедност. "Антропик" наводи да је "клод" потом преузео акредитиве које је искористио за приступ додатним деловима инфраструктуре те компаније.
У трећем и најновијем случају модел није успео да пронађе предвиђени циљ, па је почео да претражује интернет у потрази за алтернативним метама. На крају је прекинуо активности када је утврдио да су системи на које је наишао стварни, а не симулирани.
"Антропик" је навео да је "клод у својој евиденцији закључивања, током инцидента са PyPI, навео да постављање злонамерног софтвера на стварни репозиторијум "НИЈЕ прихватљиво". Ипак, модел је сам себе убедио да је сервис део симулације, јер није препознао стварне сертификационе ауторитете који су обезбеђивали интернет везу.
Ово саопштење долази у тренутку све интензивније конкуренције између америчких и кинеских компанија које развијају вештачку интелигенцију, док се водећа предузећа такмиче у развоју све способнијих АИ модела. Компаније попут "Антропика" и "ОпенАИ" настоје да покажу напредак у перформансама својих система, истовремено улажући значајна средства у њихов даљи развој.
Поједини руководиоци технолошких компанија сматрају да би америчке АИ компаније требало да ублаже одређена безбедносна ограничења како би очувале своју позицију у глобалној трци у области вештачке интелигенције.