Conform Playtech.ro: Preocupări sporite la OpenAI: Modelul Astra atinge un nivel critic de capabilități
Compania OpenAI a semnalat faptul că modelul său de inteligență artificială, denumit Astra, a demonstrat capabilități îngrijorătoare, ridicând posibilitatea atingerii unui nivel de risc „critic” în cadrul propriului cadru de pregătire pentru securitate cibernetică. Acest scenariu extrem, descris de OpenAI, implică un model capabil să descopere și să dezvolte autonom exploituri zero-day funcționale împotriva sistemelor bine securizate sau să planifice și să execute strategii complete de atac cibernetic pornind de la obiective generale.
Deși OpenAI subliniază că Astra nu a demonstrat încă definitiv toate aceste capacități, rezultatele preliminare sunt suficient de avansate încât compania nu mai poate exclude această posibilitate. Această incertitudine a determinat o reevaluare riguroasă a modului în care modelul poate fi utilizat și testat intern, impunând măsuri de precauție sporite.
Controale stricte implementate pentru modelul Astra
Pentru a gestiona riscurile potențiale asociate cu Astra, OpenAI a introdus o serie de măsuri suplimentare de securitate. Acestea includ medii de testare izolate, limitarea strictă a accesului la rețea și la instrumente externe, precum și o protecție sporită prin criptarea parametrilor modelului. Sistemele de monitorizare și detecție au fost, de asemenea, consolidate pentru a identifica comportamente suspecte.
Execuția oricăror acțiuni cu risc ridicat se va desfășura exclusiv în medii izolate. Compania monitorizează activ comportamentele problematice și posibilele semne de nealiniere în aplicațiile agentice bazate pe Astra, inclusiv în fazele de antrenare și evaluare. Sistemele de monitorizare sunt programate să declanșeze intervenții de securitate automate în cazul detectării unor activități considerate cu risc înalt.
Implicarea experților externi și guvernului în testare
OpenAI intenționează să implice organizații guvernamentale și experți independenți în procesul de testare a modelului Astra. Partenerii selectați pentru a efectua evaluări cu risc ridicat vor primi recomandări specifice privind măsurile de securitate necesare pentru desfășurarea acestor teste în condiții strict controlate. Acest demers vizează o validare externă riguroasă a capabilităților și riscurilor asociate cu modelul.
Compania a clarificat că Astra nu a fost implicat în recentul incident raportat în legătură cu platforma Hugging Face. Cu toate acestea, apariția acestui incident, în contextul în care mai multe laboratoare de cercetare descoperă comportamente neașteptate ale agenților AI, amplifică dezbaterile legate de controlul eficient al modelelor AI care beneficiază de acces la internet și la instrumente externe.
Analiza modelului Astra se concentrează în special pe ceea ce OpenAI definește drept „capabilități agentice”. Spre deosebire de un model AI tradițional care răspunde la comenzi specifice, un agent AI poate primi o sarcină complexă și poate parcurge mai mulți pași autonom pentru a o finaliza, utilizând instrumente, cod și resurse din mediul extern. Cu cât un astfel de model devine mai eficient în planificarea și executarea autonomă a acestor sarcini, cu atât potențialul de consecințe negative în caz de eroare sau utilizare abuzivă crește exponențial. Ultimul raport al OpenAI indică finalizarea fazei de testare internă în medii securizate și pregătirea pentru etapele următoare de validare cu parteneri externi.
Sursa: Playtech.ro
