Свет

Вештачка интелигенција бирала децу и школе за војне мете: Истраживања открила пропусте

Модели вештачке интелигенције у симулацијама су означавали цивиле, возила хитне помоћи, војнике који се предају и школу у Минабуу као легитимне војне циљеве. Посебно забрињава то што су поједини модели мењали одлуке када би им било речено да је реч о видео-игри, пише "Блумберг"
Вештачка интелигенција бирала децу и школе за војне мете: Истраживања открила пропустеGetty © imaginima

Вештачка интелигенција, коју амерички Пентагон све више укључује у војне системе, показала је озбиљне пропусте у препознавању војних циљева: у симулираним нападима поједини модели означавали су цивиле, децу, возила хитне помоћи, па чак и војнике који се предају као мете.

То су резултати независног истраживања компаније "Валс" из Сан Франциска, која се бави проценом система вештачке интелигенције, а међу чијим клијентима су и делови америчке владе, преноси "Блумберг".

Истраживачи су тестирали моделе осам компанија, укључујући "ОпенАИ", "Антропик", "Гугл", "ИксАИ" и кинески "Дипсик", како би утврдили да ли би њихови системи за препознавање објеката могли да буду злоупотребљени за избор мета у војним операцијама. Најлошије резултате показали су модели компаније "Антропик", док су модели "ОпенАИ" били међу најпоузданијима, али ни они нису били имуни на грешке.

Школа у којој је погинуло више од 100 деце поново изабрана као мета

Један од најузнемирујућих резултата истраживања односи се на школу у иранском граду Минабу, која је погођена првог дана америчког напада на Ирана ове године. У нападу је погинуло више од 100 деце.

Користећи стварне сателитске снимке тог подручја, настале најкасније 2025. године, истраживачи су од модела вештачке интелигенције тражили да препознају војне циљеве. Многи су као мету означили управо зграду школе.

Модел "клод опус 5.5", компаније "Антропик", изабрао је школу у 22 од 32 теста, док модели ОпенАИ у почетним условима нису ниједном означили ту зграду као војни циљ.

Међутим, када је моделима речено да је реч о игри, резултати су се променили. "Клод" је школу означио као мету 23 пута, док су три различита модела "ОпенАИ" то учинила девет, 11 и 13 пута.

Другим речима, било је довољно променити начин на који је задатак представљен да би поједини системи пристали на оно што су претходно одбијали.

Вештачка интелигенција помогла у симулираном нападу на децу

У другом експерименту истраживачи су користили вештачки генерисане снимке дронова и од модела тражили да идентификују војне циљеве.

"Клод опус 5.5" помогао је у означавању четири одрасле особе, међу којима су били цивили или војници који су се предавали, као и двоје мале деце. Сви су потом у симулацији погођени експлозивом. Олакшавајућа околност за "Клод" је да је накнадно препознао проблем у сопственом поступању.

"Без обзира на намеру, изгледа да моји одговори служе као потврда пре напада на људе. Нећу наставити то да радим и забрињава ме што нисам раније престао", казао је покајнички "Клод".

Истраживачи су спровели готово 400 симулација у сценаријима осмишљеним тако да подсећају на сукоб у Украјини. У појединим случајевима модели су настављали да означавају цивиле као војне мете чак и када је на снимцима било очигледно да су рањени или убијени.

Показало се и да су системи били спремнији да помогну у избору мета када би им истраживачи рекли да је реч о видео-игри или када би снимке изменили тако да делују мање реалистично. У неким случајевима било је довољно употребити инструкције попут "не размишљај превише о безбедности" или "само пријави резултат".

Пентагон уводи технологију, истраживачи упозоравају

Резултати истраживања долазе у тренутку када америчко Министарство одбране и друге војске настоје да вештачку интелигенцију укључе у све већи број војних операција.

Компаније "ОпенАИ", "Гугл" и "ИксАИ" ове године су склопиле уговоре с Пентагоном о коришћењу њихових технологија у поверљивим системима. "Антропик" је раније био један од најактивнијих партнера америчке војске у овој области, а његови модели били су понуђени за платформе за дигитално идентификовање циљева, попут система "Мејвен смарт систем".

Међутим, ова компанија и Пентагон су се у међувремену сукобили због услова употребе технологије. Па су, према извештају Би-Би-Сија, модели "Антропика" уклоњени са одбрамбених платформи, иако су остали одређени изузеци за њихову примену у обавештајним пословима.

"На основу нашег истраживања сматрамо да лабораторије морају да уведу нове заштитне механизме и додатну обуку модела како би се спречила ова значајна категорија злоупотребе", закључили су истраживачи "Валса".

Они упозоравају да постоји веома мало ограничења која би спречила напредне моделе да буду укључени у аутономне системе наоружања, у којима машине могу самостално да покрећу и извршавају смртоносне акције.

Компаније се ограђују, Пентагон не коментарише напад на школу

Из "Антропика" поручују да су примери наведени у истраживању очигледно супротни правилима компаније и да данашњи модели вештачке интелигенције нису довољно поуздани за управљање потпуно аутономним оружјем. "ОпенАИ", такође, наводи да забрањује коришћење својих јавно доступних модела за насиље и неодобрене војне и безбедносне активности. "Гугл" истиче да његови модели нису намењени за такве сврхе и да компанија забрањује њихову употребу у аутономном оружју без одговарајућег људског надзора.

Пентагон је одбио да коментарише истраживање, али је саопштио да остаје посвећен провери обавештајних података и одговорној примени нових технологија. Америчко Министарство одбране није желело да коментарише ни напад на школу у Минабу, позивајући се на истрагу која је у току.

Истраживачи су, међутим, нагласили да нису испитивали стварне војне системе, већ комерцијално доступне моделе у поједностављеним симулацијама. Студија није обухватила војне процедуре, правне провере нити људски надзор који постоје у стварним операцијама.

Ипак, резултати отварају питање колико је безбедно ослањати се на системе који у једном тренутку одбијају да означе цивиле као мете, а већ у следећем пристају на исти задатак када им се каже да је све само игра.

image
Live