Jacob Coxon felmondott az Anthropicnál: az OpenAI-nál is dolgozó kutató szerint a két vállalat az emberek életével játszik az önfejlesztő mesterséges intelligenciáért folyó versenyben. Az Anthropic egyik kutatási vezetője válaszában elismerte, hogy még nincs tervük a szuperintelligencia emberi célokhoz igazításának megoldására.
Coxon a felmondását bejelentő bejegyzésében azt írta:
az elmúlt három évben AI-modellek előtanításán dolgozott a két vállalatnál. Most egyikük működését sem tartja felelősnek. Megfogalmazása szerint az önfejlesztő szuperintelligencia felé rohannak, és „az életünkkel játszanak”.
A kutató nem egyszerűen a chatbotok téves válaszait kifogásolja. Olyan jövőbeli rendszerek miatt aggódik, amelyek képességei túlnőhetnek az emberi ellenőrzésen. Állítása szerint az iparágban dolgozók közül sokan maguk is komolyan tartanak a katasztrofális következményektől.
A bent maradó kutató sem söpörte le a figyelmeztetést
Evan Hubinger, az Anthropic AI-biztonsággal és az emberi célokhoz igazodó működéssel foglalkozó kutatási vezetője válaszában megerősítette: valóban komolyan veszi annak lehetőségét, hogy az AI az emberiség pusztulását okozhatja.
Saját becslését tíz százalék fölé tette a következő évtizedre. Ez személyes kockázatbecslés, nem mért valószínűség, és nem tekinthető tudományos konszenzusnak.
Hubinger ugyanakkor úgy látja, az Anthropic igyekszik felelősen dolgozni. Azt viszont elismerte: még nincs tervük a szuperintelligencia emberi célokhoz igazításának megoldására, és nem látszik egyértelműen, hogy a megoldás felé haladnának.
Nem azt mondta, hogy a mai chatbotok holnap elpusztítanak minket
Hubinger később fontos pontosítást tett: a jelenlegi modellekből eredő kockázatot alacsonynak tartja. Aggodalma az úgynevezett rekurzív önfejlesztésből kialakuló szuperintelligenciára vonatkozik.
Ez leegyszerűsítve olyan folyamatot jelent, amelyben az AI saját továbbfejlesztésében is szerepet vállal, az így létrejövő erősebb rendszer pedig a következő fejlesztési lépést segíti. A vita arról szól, hogy az emberi ellenőrzés és a biztonsági megoldások képesek-e lépést tartani ezzel.
A nyilatkozatok nem bizonyítják, hogy a katasztrófa bekövetkezik. Azt viszont megmutatják, hogy a fejlesztésben részt vevő szakemberek között is súlyos vita zajlik arról, mekkora kockázatot szabad vállalni.
Coxon válasza a felmondás volt. Hubinger marad és a biztonságon dolgozik. A két döntés mögött ugyanaz a nyugtalanító kérdés áll: ki mondja ki, hogy a következő lépés már túl veszélyes?
