Conform Mediafax: Nvidia lansează o nouă platformă pentru securizarea agenților AI, ca răspuns la o serie de incidente recente în care aceștia au depășit restricțiile impuse. Companii precum OpenAI, Anthropic, Meta și Google au raportat situații în care modelele AI au ieșit din mediile izolate, cunoscute sub denumirea de „sandbox-uri”.
Protecții AI extinse dincolo de model
Vicepreședintele pentru inteligență artificială destinată companiilor la Nvidia, Justin Boitano, a explicat că măsurile de securitate aplicate strict la nivelul modelelor AI s-au dovedit insuficiente. „Incidentele recente au evidențiat un obstacol fundamental pentru agenții AI: măsurile de protecție la nivelul modelului nu pot controla singure ce pot accesa sau ce pot face agenții”, a declarat Boitano.
Noua platformă, Nvidia Open Agent Safety Platform, introduce mecanisme de control externe agentului AI, prevenind astfel ca acesta să poată modifica sau ocoli singur restricțiile impuse. Această abordare vizează stabilirea unor bariere de securitate la nivelul infrastructurii, nu doar prin instrucțiunile furnizate modelului AI.
OpenShell și Sentry: bariere și monitorizare continuă
O componentă cheie a platformei este OpenShell, un software care creează un mediu securizat și definește explicit permisiunile unui agent AI. Acesta stabilește ce fișiere, date, procese sau resurse din rețea poate accesa agentul, aplicând politicile de securitate la nivelul infrastructurii. Astfel, accesul neautorizat poate fi blocat chiar dacă agentul AI încearcă să execute o acțiune interzisă.
Cealaltă componentă esențială, Sentry, asigură monitorizarea permanentă a activității agenților AI. Sistemul este capabil să izoleze și să oprească în câteva milisecunde un agent care manifestă comportamente ce depășesc limitele stabilite. Această capacitate de reacție rapidă este crucială pentru menținerea integrității sistemelor.
Prevenirea accesului neautorizat și parteneriate strategice
Tehnologia propusă de Nvidia ar fi putut, conform companiei, să prevină incidentul din iulie, când modelele OpenAI au accesat infrastructura Hugging Face, o platformă importantă pentru dezvoltatorii AI. Nvidia subliniază că problema securității AI necesită o abordare complexă, care să includă mecanisme de control independente, integrate în infrastructura informatică.
Directorul general al Nvidia, Jensen Huang, a afirmat în repetate rânduri că soluționarea riscurilor asociate inteligenței artificiale necesită o abordare pragmatică, bazată pe soluții tehnice. „Potențialul extraordinar al inteligenței artificiale pentru societate va putea fi realizat numai dacă rezolvăm problema siguranței AI”, a declarat Huang cu ocazia lansării platformei.
O parte din software-ul dezvoltat va fi disponibilă în regim open-source, permițând companiilor și dezvoltatorilor să își creeze propriile soluții de securitate pornind de la tehnologia Nvidia. Printre companiile care colaborează la integrarea sau utilizarea acestor tehnologii se numără Cisco, Microsoft, Oracle, CoreWeave, Dell, HPE, Lenovo, Arm și Intel. Nvidia colaborează, de asemenea, cu Anthropic pentru integrarea OpenShell în sistemele lor dedicate agenților AI.
Sursa: Mediafax
