Anthropic heeft Claude Mythos 5 en spin-off Fable 5 wereldwijd offline gehaald vanwege een blokkade door de Amerikaanse overheid. Volgens de VS is er een manier om beperkingen van het krachtige model – dat goed is in cybersecurity en programmeren – te omzeilen, ofwel te jailbreaken. Volgens Anthropic is het een minimaal probleem.
In een persbericht zegt Anthropic dat het de opdracht heeft gekregen om buitenlandse toegang tot Fable 5 en Mythos 5 te blokkeren. Naar eigen zeggen moet het bedrijf de modellen wereldwijd offline halen om zeker te weten dat het aan de juridische verplichting voldoet. De VS heeft de beslissing niet publiekelijk toegelicht.
Anthropic Claude Fable 5 is een variant van het krachtige Mythos-model. Deze programmeertool is zo goed in het vinden van beveiligingslekken, dat deze ook ontzettend goed is in het vinden van exploits. Daarom werd Mythos voor een zeer select publiek uitgebracht.
Fable 5 is de eerste publieke versie van Mythos. De tool kan hetzelfde, maar heeft zeer strenge veiligheidsmaatregelen om te voorkomen dat kwaadwillenden het model gebruiken om kwetsbaarheden te vinden en te misbruiken. Een jailbreak van dit model zou betekenen dat iedereen toegang heeft tot Fable zonder vangrails, wat in principe dus Mythos is.
Volgens het bedrijf gaat het om een exploit van een 'kleine, relatief simpele kwetsbaarheid'. Het bedrijf ontkent dat er een universele jailbreak bestaat, maar stelt dat het omzeilen van beperkingen tot op zekere hoogte voor geen enkel model te voorkomen is. Anthropic zou voor de release van de modellen zelfs met de Amerikaanse overheid hebben samengewerkt om kwetsbaarheden op te sporen.
Het is Anthropic niet helemaal duidelijk waar de blokkade door de Amerikaanse overheid precies op gebaseerd is. Er zou 'verbaal bewijs' geleverd zijn voor een beperkte kwetsbaarheid waarbij het model specifieke code kan lezen en fouten kan opsporen.
De relatie tussen het Amerikaanse Anthropic en de Verenigde Staten staat al langer op gespannen voet. Zo loopt er een rechtszaak tussen de twee omdat de VS Anthropic als veiligheidsrisico bestempelde. De VS plaatste het bedrijf namelijk op de zwarte lijst.
Het is onduidelijk of dit nieuwe conflict een escalatie van het bestaande is, of daadwerkelijk gebaseerd is op zorgen over cyberveiligheid. De brief aan Anthropic bevat volgens het bedrijf zelf te weinig concrete informatie om de exacte zorgen van de VS te bepalen.
Source: Tweakers.net