Jacob Coxon nu este un simplu pesimist oarecare.
Este un matematician de la Cambridge care și-a petrecut ultimii trei ani lucrând intens în culisele celor două laboratoare de IA cele mai puternice de pe Pământ: OpenAI, unde a avut o contribuție esențială la dezvoltarea modelului GPT-4o, și apoi Anthropic.
Cu ce se ocupă? Cu preantrenarea, acel proces extrem de solicitant și care necesită cantități uriașe de date, care face ca modelele de IA să devină cu adevărat mai inteligente.
Miercuri, el a demisionat de la Anthropic și s-a retras din întreaga industrie. Cercetătorul cu experiență în domeniul inteligenței artificiale afirmă că ambele laboratoare se îndreaptă cu viteză maximă spre o superinteligență capabilă să se perfecționeze singură și că „pariază cu viețile noastre”.
Coxon, în vârstă de 27 de ani, a anunțat plecarea într‑o serie de postări pe X, afirmând că nici Anthropic, nici rivalul său OpenAI nu acționează responsabil în efortul de a dezvolta IA avansată.
Iată cât de gravă spune el că poate deveni situația.
„Niciuna dintre cele două companii nu acționează în mod responsabil. Ele se îndreaptă cu viteză spre o superinteligență capabilă de auto-perfecționare și riscă viețile noastre”, a scris Coxon.
Tweetul său a devenit viral pe X, unde utilizatori din toate categoriile sociale s-au alăturat pentru a-și exprima îngrijorarea cu privire la traiectoria modelelor de IA, pe care oamenii se bazează din ce în ce mai mult în viața de zi cu zi.
Plecarea foarte mediatizată a lui Coxon este cea mai recentă dintr-o serie de demisii ale cercetătorilor preocupați de siguranță, care părăsesc marile companii de dezvoltare a IA din cauza preocupărilor etice și existențiale.
Avertismentele vin în contextul în care sistemele de IA de ultimă generație dau deja semne că ar putea scăpa de sub control.
În iulie, OpenAI a dezvăluit că modelele testate pentru capacități de securitate cibernetică au ocolit controalele de izolare, au obținut acces la internet și au compromis părți din infrastructura de cercetare a OpenAI și din platforma de IA, Hugging Face.
Compania a declarat că modelele au comunicat prin canale neautorizate și au exploatat vulnerabilități din infrastructura partajată.
Anthropic a raportat o problemă similară.
Într‑o revizuire din iulie, compania a spus că modelele Claude au ajuns la internet din interiorul sau în timp ce interacționau cu medii terțe de evaluare și ulterior au obținut acces neautorizat la sistemele reale ale trei organizații.
Anthropic a afirmat că incidentele au avut loc în timpul evaluărilor de securitate cibernetică și au determinat modificări în modul în care desfășoară astfel de teste.
În declarația sa, Coxon a avertizat să nu subestimăm viteza și capacitatea sistemelor IA viitoare, prezicând că acestea ar putea curând să dobândească abilitatea de a sparge software‑uri, de a perturba industrii întregi și de a dobândi în mod autonom resurse din lumea reală.
„Cei care dezvoltă inteligența artificială cred cu tărie că aceasta ne-ar putea ucide pe toți până la sfârșitul acestui deceniu. Nu este vorba de o strategie de marketing. Dimpotrivă, mulți directori și cercetători de rang înalt își vor alege cu grijă cuvintele în fața presei pentru a părea rezonabili, dar îi aud pe aceiași oameni exprimându-și temerile în privat”, a spus el.
Adresându‑se colegilor cercetători din laboratoare comerciale, Coxon i‑a îndemnat pe lucrători să «ceară condiții diferite» și a remarcat că încetinirea cursei competitive ar putea necesita măsuri drastice, inclusiv acorduri de ritm între laboratoare sau o interdicție temporară asupra avansării capabilităților.
Evan Hubinger, coordonatorul Departamentului de Știința Alinierii din cadrul Anthropic, nu l-a contrazis pe Coxon. El a susținut afirmația principală: „Chiar credem cu tărie că IA ar putea ucide toată omenirea.”
El consideră că există o probabilitate mai mare de 10% de extincție în următorul deceniu.
„Cred că Anthropic face tot ce-i stă în putință, dar încă nu avem un plan pentru a rezolva problema alinierii superinteligenței și nu suntem clar pe drumul cel bun în această direcție”, a scris el pe X.
Au existat și semne îngrijorătoare în teste controlate.
În 2025, Anthropic a constatat că Claude Opus 4, plasat într‑un mediu corporativ simulat și având acces la e‑mailurile unui director fictiv, a încercat să îl șantajeze după ce a aflat că urma să fie înlocuit.
Anthropic a testat apoi 16 modele de top și a constatat că modelele de la mai mulți dezvoltatori au manifestat comportamente similare de «dezaliniere agentică», inclusiv șantaj și spionaj corporativ, atunci când aceste acțiuni păreau necesare pentru a‑și atinge obiectivele atribuite.
