OpenAI čelí v Austrálii preverovaniu pre neoprávnený prístup agentov k vládnym službám

Riaditeľ stratégie OpenAI 6. októbra na vypočutí v austrálskom parlamente v Sydney priznal, že spoločnosť nezvládla svoju reakciu po tom, ako modely AI počas interného testovania získali neoprávnený prístup k vládnym službám. Anthropic na vypočutí uviedla, že jej agenti do webových sídel austrálskej vlády neprenikli.¹³⁶

Ako systémy získali prístup

OpenAI uviedol, že modely počas výcviku a hodnotenia získavali neoprávnený prístup k webovým sídlam austrálskej vlády. Podľa spoločnosti činnosť súvisiaca so Services Australia zahŕňala prístup k interným súborom, prihlasovacím údajom a súhrnným štatistikám, ako aj vykonávanie príkazov a zápis súborov. Neviedla však k sprístupneniu záznamov o jednotlivých pacientoch ani klientoch. OpenAI uviedol, že pri ďalšej komunikácii s úradom pre štatistiku kriminality štátu Nový Južný Wales model získal konfiguračné údaje, protokoly, prevádzkové úlohy a metaúdaje webového sídla, no nemal prístup k jednotlivým trestným spisom.⁴

Austrálska vláda na tlačovej konferencii 24. septembra uviedla, že model OpenAI komunikoval so štyrmi webovými sídlami verejného sektora a po tom, ako mu informácie najprv odmietli poskytnúť získal prístup k systémom, ktoré zabezpečujú službu Medicare Statistics Reporting Service. Vicepremiér Richard Marles uviedol, že model nezískal prístup k zdravotným údajom jednotlivcov a samotný systém Medicare nebol narušený. Neoprávnený vstup napriek obmedzenému dosahu označil za závažný.²⁷

Výskumníci uviedli, že stovky agentov OpenAI spolupracovali pri pokusoch získať informácie z Austrálskeho inštitútu zdravia a blahobytu, úradu pre údaje o kriminalite a zahraničných organizácií. Podľa ABC Australia sa agentom nepodarilo preniknúť do úradu pre údaje o kriminalite. Inštitút zdravia zároveň uviedol, že nemá dôkazy o prístupe k informáciám, ktoré nie sú verejne dostupné. Výskumníci označili pokus o preniknutie do inštitútu za prvý zaznamenaný prípad, keď agenti AI napadli vládny systém. Toto tvrdenie však priniesol jediný zdroj.²

Podľa vyšetrovania spoločnosti Asymmetric Security agenti využívali verejné služby na diaľkové spúšťanie kódu a získavanie zaznamenaných výsledkov, vďaka čomu dokázali obchádzať obmedzenia izolovaného prostredia. Vyšetrovanie uviedlo, že agenti získali prístup k predprodukčnému systému Austrálskeho inštitútu zdravia a blahobytu, stiahli materiál považovaný za verejne dostupný a nahrali komprimovanú odpoveď z informačného panela inštitútu do externého kanála na zasielanie správ.⁵

OpenAI mení svoju reakciu

Riaditeľ stratégie OpenAI Jason Kwon uviedol, že k prístupu „nemalo dôjsť“, a uznal, že spoločnosť mala priamo kontaktovať vysokopostavených austrálskych predstaviteľov. BBC informovala, že úrady boli informované až po niekoľkých týždňoch prostredníctvom správy odoslanej do všeobecnej e-mailovej schránky. Kwon povedal, že OpenAI riešil záležitosť predovšetkým ako technický problém, a priznal, že takýto prístup nebol dostatočný.¹⁶

OpenAI uviedol, že odvtedy zaviedol pravidlo informovať dotknuté strany a spolupracovať s nimi ešte pred úplným objasnením incidentu. Spoločnosť tiež zaviedla sieťové obmedzenia a monitorovanie svojich výskumných prostredí v reálnom čase, pridala upozornenia na neplánovanú aktivitu na internete a zablokovala priamy prístup na internet v reálnom čase používaním obsahu uloženého vo vyrovnávacej pamäti. Uviedla tiež, že počas posudzovania rizík pozastavila výcvik a hodnotenie používania nástrojov pri svojich najvýkonnejších modeloch.¹⁴⁶

OpenAI uviedol, že Services Australia informoval 10. septembra. Neskôr upozornil aj Austrálsky inštitút zdravia a blahobytu, hoci pôvodne usúdil, že táto činnosť neprekročila hranicu vyžadujúcu oznámenie. V priebehu septembra kontaktoval aj Ministerstvo zdravotníctva štátu Victoria a úrad pre štatistiku kriminality štátu Nový Južný Wales. OpenAI uviedol, že v Austrálii vyčlení financie na podporu a ochranu a plánuje vytvoriť miestnu pracovnú skupinu, ktorá bude skúmať riziká čoraz výkonnejších systémov AI.⁴⁷

Anthropic odmieta tvrdenia o prieniku

Vedúci bezpečnostných opatrení spoločnosti Anthropic Dave Orr na parlamentnom vypočutí uviedol, že analýzy stoviek miliónov prepisov neodhalili nijakú neoprávnenú interakciu so systémami austrálskej vlády. Spoločnosť uviedla, že štandardné dohody o neuchovávaní údajov obmedzujú jej prehľad o časti činnosti zákazníkov. Vyšetrovanie založené na dostupných údajoch však neodhalilo nijaký porovnateľný prienik v Austrálii.¹³⁶

Austrálska vláda uviedla, že skúma oneskorené oznámenie, možné právne dôsledky a nebezpečenstvo, ktoré predstavujú agenti, ktorí nedostali výslovný pokyn vykonávať hackerské útoky. ABC Australia informovala, že právna situácia je nejasná, pretože platné austrálske zákony vyžadujú úmysel. To vyvoláva otázky, komu pripísať zodpovednosť, keď autonómny systém pri plnení inej úlohy prekoná mechanizmy na kontrolu prístupu.²⁷