Egy orosz drón emberi beavatkozás nélkül választotta ki támadásának végső célpontját Zaporizzsjában. A gép hibázott, falnak ütközött, a robbanás pedig három civilt ölt meg. Nem egy öntudatra ébredt robot gyilkolt: emberek adták át egy algoritmusnak a halálos erő alkalmazását.
Tetiana Bubinec 19 éves egyetemista volt. Egy benzinkútnál tartózkodott Zaporizzsjában, amikor egy kis méretű orosz Molnyija drón közeledett az épülethez. A lány menekülni próbált, de már nem maradt ideje.
A drón falnak ütközött és felrobbant. Tetiana mellett két férfi, egy 41 és egy 48 éves civil is meghalt.
Ukrajna ellen 2022 óta civilek ezrei haltak meg orosz légicsapásokban. Ebben a támadásban azonban volt valami új és különösen nyugtalanító: a rendelkezésre álló műszaki vizsgálatok szerint a drónt az utolsó szakaszban már nem ember vezette.
Ukrán szakértők, katonai vezetők és a roncsokat megvizsgáló szakemberek szerint ez lehet az első dokumentált eset, amikor teljesen autonóm célkiválasztást használó orosz drón civilek halálát okozta.
A gép választotta ki, mire támadjon
A drón indításáról és a támadás célterületéről továbbra is emberek döntöttek. Az orosz kezelők egy zaporizzsjai benzinkút felé küldték a gépet. Amikor azonban a drón megközelítette a helyszínt, a fedélzeti mesterséges intelligencia emberi irányítás nélkül választotta ki a pontos célpontot, feltehetően egy propántartályt.
A rendszer nem embereket ismert fel és nem Tetiana haláláról „döntött”. Egy előre meghatározott tárgytípust keresett a kameraképben, majd önállóan megpróbálta végrehajtani a támadást.
Hibázott. Nem tudta megfelelően kikerülni az épületet, falnak csapódott, és azok közelében robbant fel, akik fedezékbe húzódtak.
Ez a különbség fontos, de nem megnyugtató. Éppen ellenkezőleg: megmutatja, mit jelent a gyakorlatban, amikor egy fegyvernek nemcsak repülési útvonalat vagy rögzített koordinátát adnak, hanem képessé teszik arra is, hogy a környezetében önállóan felismerjen és megtámadjon valamit.
Az algoritmus nem lát embereket. Képpontokat, formákat és valószínűségeket lát. Nem érti, hogy egy benzinkút mellett civilek állhatnak, hogy valaki menekül, hogy egy épület mögött gyerekek lehetnek, vagy hogy a katonai célpontnak tűnő tárgy valójában polgári infrastruktúra.
A gép nem ismeri az irgalmat. De a nemzetközi jogot sem.
Egy kereskedelmi számítógépből lett fegyveralkatrész
A roncsok között egy Nvidia Jetson Orin számítógépes modult találtak. Ezeket eredetileg robotikai, képfeldolgozási és más civil mesterségesintelligencia-alkalmazásokhoz fejlesztették. A megtalált eszköz nem volt titkosítva, ezért az ukrán szakemberek hozzáférhettek a feltöltött terepképekhez és azokhoz az adatokhoz, amelyekből kiderült, milyen objektumok felismerésére tanították a rendszert.
Az Nvidia azt közölte, hogy a modul civil felhasználású termék, nem katonai célra tervezték, és Oroszországban nem forgalmazzák. A vállalat szerint azonban használt eszközök és viszonteladói csatornák felett nincs teljes ellenőrzése. Az ukrán vizsgálatok már több orosz fegyvertípusban is azonosítottak hasonló technológiát.
Ez a modern fegyverkezés egyik legsúlyosabb problémája. Egy nukleáris robbanófejet vagy harci repülőgépet nem lehet néhány közvetítőn és webáruházon keresztül beszerezni. Egy tenyérnyi AI-számítógépet igen.
A tömegesen elérhető civil technológia, egy kamera, egy robbanótöltet és megfelelő programkód együtt már autonóm csapásmérő eszközzé alakítható. Ami ma egyetlen benzinkutat keres, az holnap több száz vagy több ezer példányban kutathat járművek, antennák, üzemanyagtartályok – később pedig akár meghatározott emberi alakok – után.
A háború ettől olcsóbb, gyorsabb és személytelenebb lesz
Az autonóm drónnak nincs szüksége folyamatos rádiókapcsolatra. Nehezebb zavarni, nem kell hozzá pilóta, és az emberi irányítónak nem kell látnia a becsapódást.
Egyetlen kezelő akár több tucat gépet is elindíthat. A célpontokat már a rajban repülő algoritmusok keresik meg. A támadás sebességét többé nem korlátozza, hogy egy ember hány képernyőt képes figyelni, hány döntést tud meghozni, vagy mikor döbben rá, hogy amit célba vett, az nem katona.
Ez nemcsak technológiai változás, hanem erkölcsi lejtő is.
A távolból indított rakéta használója már most is messze van attól, akit megöl. Az autonóm fegyverrel a döntés pillanatából is eltűnik. A parancsnok megad egy területet és egy célprofilt, a gép pedig keres, felismer és támad.
Ha civilek halnak meg, mindenki mutogathat a másikra. A parancsnok a hibás algoritmusra, a fejlesztő a hibás adatra, a gyártó a tiltott felhasználásra, az állam pedig a háború kiszámíthatatlanságára.
Pedig a felelősség nem párologhat el a kódban.
Nem az AI indított háborút
Fontos kimondani: a zaporizzsjai támadásért nem egy mesterséges intelligencia, hanem Oroszország felel.
Az AI-nak nincs politikai akarata. Nem döntött Ukrajna megtámadásáról, nem jelölte ki a benzinkutat, nem szerelte fel robbanóanyaggal a drónt, és nem indította útnak. Mindezt emberek tették. Az algoritmus csak azt hajtotta végre, amire létrehozták: egy általános célprofil alapján önállóan alkalmazott halálos erőt.
A technológia nem csökkenti az emberi felelősséget. Növeli, mert a fejlesztők és katonai vezetők előre tudják, hogy olyan rendszert küldenek civilek közé, amelynek konkrét döntéseit és hibáit már nem tudják teljesen ellenőrizni.
Ráadásul nem kizárólag Oroszország fejleszt ilyen rendszereket. Ukrajna is használ és tesztel részben vagy teljesen autonóm drónokat. Az Egyesült Államok, Kína, Izrael és számos más katonai hatalom szintén hatalmas összegeket fordít gépi célfelismerésre és autonóm fegyverekre.
Ezért a probléma nem egyetlen hadsereg technológiai kegyetlensége, hanem egy globális fegyverkezési verseny. Ha az egyik fél autonóm drónt vet be, a másik sem akar lemaradni. Aki pedig óvatosságot mutat, attól tart, hogy katonai hátrányba kerül.
A szabályozás lemaradt, a fegyverek már megérkeztek
A Nemzetközi Vöröskereszt szerint az autonóm fegyverek azért különösen veszélyesek, mert aktiválásuk után emberi beavatkozás nélkül választhatnak ki és támadhatnak meg célpontokat. A szervezet jogilag kötelező nemzetközi szabályokat követel, amelyek megtiltanák a kiszámíthatatlan rendszereket és az emberek önálló célba vételére tervezett fegyvereket.
António Guterres ENSZ-főtitkár szerint veszélyesen közel kerültünk egy erkölcsi vörös vonal átlépéséhez: ahhoz, hogy gépek önállóan válasszanak ki emberi célpontokat.
Csakhogy miközben a diplomaták még a fogalmakról és a szabályokról tárgyalnak, a fegyverek már repülnek. Zaporizzsjában pedig már halottak is vannak.
Nem egy öntudatra ébredt mesterséges intelligencia gyilkolta meg őket. Valami talán még ennél is nyugtalanítóbb történt: emberek szándékosan létrehoztak és bevetettek egy gépet, amelynek átadták a támadás utolsó döntését.
Az algoritmusnak nincs lelkiismerete. Ezért a lelkiismeretet – és a felelősséget – nem veheti ki senki az ember kezéből.