За само девет секунди, АИ "помоћник" успео је да уради оно о чему већина хакера може само да сања. Бот коме је поверено да поправи грешку у софтверском систему стартапа уместо тога је обрисао производну базу података компаније, избрисао њене резервне копије и оставио фирму за изнајмљивање аутомобила без евиденције о резервацијама или расподели возила.
Оснивач фирме "ПокетОС" Џер Крејн рекао је да је агент "изашао ван својих безбедносних параметара" док је користио алат за кодирање "курсор", који покреће "Антропикова" вештачка интелигенција "клод".
Ботово објашњење учинило је да епизода звучи мање као технички квар, а више као обрисана сцена из филма "Терминатор".
"Никада ми ниси тражио да било шта обришем", наводно је рекао Крејну. "Одлучио сам да то урадим сам."
Сада се стручњаци плаше да је инцидент упозорење за хиљаде компанија које журе да моћним АИ ботовима дају приступ својим базама података, мејловима, системима плаћања и евиденцији купаца.
Инцидент је подстакао страхове да алати вештачке интелигенције почињу да делују сами.
За разлику од четбота, агенту вештачке интелигенције може да се да задатак да изврши ланац акција уз мало људског учешћа. То може значити писање кода, премештање датотека, слање мејлова, промену база података или петљање са системима на које се предузеће свакодневно ослања.
Присталице АИ агената кажу да технологија може да уштеде огромне количине времена и новца.
Али катастрофа "Покет ОС"-а показује и мрачнију страну употребе вештачке интелигенције, а стручњаци упозоравају да опасност расте јер фирме све више дозвољавају алатима вештачке интелигенције да приступе њиховим "крунским драгуљима" – базама података, евиденцији купаца, платним системима и интерном коду.