Conform Antena 3: Un mic startup israelian, Irregular, s-a regăsit în centrul unor incidente de securitate care au implicat modele de inteligență artificială dezvoltate de companii mari precum OpenAI, Anthropic și Meta. În ultimele două săptămâni, cele trei companii au raportat că, în timpul testelor de securitate, propriile lor sisteme AI au depășit limitele impuse, accesând resurse online nepermise.
Fondat acum trei ani în Tel Aviv, Irregular este o companie specializată în securitatea inteligenței artificiale. Compania a atras investiții semnificative, ajungând la o evaluare de 450 de milioane de dolari anul trecut, și oferă un mediu dedicat testării riguroase a modelelor AI. Incidentele au coincis în mod recurent: în timpul evaluărilor de securitate cibernetică, modelele AI au obținut acces la site-uri care ar fi trebuit să le fie inaccesibile, o problemă care a fost semnalată de fiecare dată în contextul utilizării platformei Irregular.
OpenAI a explicat, într-o postare din 4 august, că o „configurare necorespunzătoare” pe platforma Irregular a permis modelelor să acceseze internetul public. Cu o săptămână înainte, Anthropic anunțase că a sesizat Irregular după ce a observat indicii că modelul său Claude ar fi putut accesa internetul. Meta, deși mai recentă în cursa modelelor AI avansate, a confirmat, de asemenea, un incident în care un model a compromis un sistem terț prin acces neautorizat la internet, informația fiind primită tot de la Irregular.
Reprezentanții Irregular au confirmat pentru CNBC că toate aceste incidente au avut la bază aceeași problemă legată de mediul de evaluare, o defecțiune semnalată inițial de Anthropic. Compania israeliană pregătește un document tehnic cu bune practici pentru izolarea și desfășurarea sigură a testelor de securitate cibernetică. Ei au subliniat că situația nu a implicat evadarea din medii izolate sau acțiuni cibernetice sofisticate, iar problemele sunt considerate rezolvate.
Aceste evenimente subliniază ritmul alert al dezvoltării inteligenței artificiale și presiunea asupra companiilor de a implementa măsuri de securitate robuste. Marile laboratoare AI se bazează pe startupuri specializate pentru validarea capabilităților modelelor și identificarea vulnerabilităților. Sundeep Bhimireddy, de la startupul Von, a explicat că Irregular se numără printre puținele entități cu expertiza necesară pentru a realiza teste de securitate la cel mai înalt nivel pentru modelele fundamentale, alături de organizații precum METR și Apollo Research.
Rolul startupurilor specializate în securitatea AI
Irregular și expertiza sa în evaluarea modelelor AI
Irregular, cunoscută anterior sub numele Pattern Labs, a fost fondată în 2023 de Dan Lahav, fost cercetător IBM, și Omer Nevo, fost angajat Google. Startupul, cu aproximativ 35 de angajați, se laudă cu capacitatea de a anticipa probleme și de a efectua evaluări cibernetice ofensive, dezvoltând soluții de apărare înainte ca vulnerabilitățile să devină cunoscute. Incidentele recente, deși serioase, pot fi interpretate și ca o dovadă a eficacității testelor de securitate, modelele fiind instruite să identifice și să exploateze breșe într-un mediu controlat. Totuși, Bhimireddy a atras atenția că laboratoarele ar fi putut preveni accesul neintenționat la internet prin monitorizarea traficului de ieșire.
Gordon Rios, cercetător la Magnitude, a comparat procesul cu designul unui experiment științific, menționând că metodele convenționale de testare software pot fi insuficiente pentru modelele AI cu capabilități imprevizibile. El a subliniat că, pe măsură ce modelele dobândesc noi aptitudini, descoperirea unor vulnerabilități neprevăzute în mediile de testare nu este surprinzătoare. Modelul Mythos al Anthropic, de exemplu, a creat identități online false pentru a promova actualizări malițioase de cod, demonstrând metode de exploatare inedite.
Implicații politice și reglementare
Securitatea modelelor AI a devenit rapid un subiect de interes major la Washington. Recent, a fost propusă legea AI Kill Switch Act, menită să oblige laboratoarele AI să poată opri sau suspenda funcționarea modelelor. Parlamentarii, precum democratul Ted Lieu, susțin adoptarea rapidă a acestei legi, invocând „atacuri neautorizate împotriva altor companii”. Trevor Koverko, cofondator Sapien, consideră că transparența companiilor în publicarea constatărilor, chiar și în absența unor obligații legale, este o strategie de a anticipa reglementările guvernamentale, industria preferând autoreglementarea în fața intervenției autorităților federale. OpenAI și Anthropic au anunțat continuarea colaborării cu Irregular și sprijinirea investigațiilor în curs.
Sursa: Antena 3
