Stáhli jste si model — co jste si pustili dovnitř?

Nasadíte open-weight model do agenta. Dáte mu tooly, protože bez nich by k ničemu nebyl — HTTP klienta, přístup k souborům, možná shell. Agent běží na vaší infrastruktuře, čte vaše data a umí sám volat věci venku. A ve chvíli, kdy jste stáhli ty váhy, jste do svého systému pustili artefakt o desítkách gigabajtů, do kterého nikdo nevidí — vy ne, jeho autor jen zčásti a žádný nástroj vám neřekne, co v něm je.

U běžné závislosti byste tohle nepřijali. Kdyby vám někdo poslal binárku bez zdrojáků a řekl, ať ji spustíte s právy na síť a souborový systém, chtěli byste vědět odkud je a kdo ji podepsal. U modelu to většina týmů neudělá, protože model vypadá jako data — velká tabulka čísel. Není. Je to logika, kterou neumíte přečíst.

Tenhle článek neřeší, co je v tréninkovém korpusu z právního hlediska — to rozebírá sesterský text Na čem byl váš model trénovaný. Tady jde o bezpečnostní rovinu: co reálně hrozí, co je z toho doložené a co spekulace, a co s tím zvládnete udělat za odpoledne.

01Threat model: tři vektory, které se pletou

Debata o „nebezpečných modelech“ většinou míchá tři různé věci s velmi odlišnou pravděpodobností. Širší mapu útoků na LLM napříč celým životním cyklem má na blogu samostatný článek; tady mě zajímá jen artefakt, který si stahujete, a agent, do kterého ho zapojíte.

1. Otrávená tréninková data

Data poisoning znamená, že útočník dostane škodlivá data do tréninkové sady. U modelů, které se učí z webu, to není hypotéza: práce Poisoning Web-Scale Training Datasets is Practical (Carlini a kol., 2023, IEEE S&P 2024) popsala dva praktické útoky. Jeden využívá toho, že obsah na webu se mění mezi okamžikem, kdy dataset vznikl, a okamžikem, kdy si ho stáhnete — autoři spočítali, že za 60 dolarů mohli otrávit 0,01 % datasetů LAION-400M nebo COYO-700M. Druhý cílí na zdroje, které se snímkují periodicky (typicky Wikipedie), a vkládá úpravy krátce před plánovaným crawlem.

Intuici o měřítku pak změnila práce Anthropicu s UK AI Security Institute a Alan Turing Institute (říjen 2025): k zanesení jednoduchých zadních vrátek stačí téměř konstantní počet otrávených dokumentů — řádově 250 — a to nezávisle na tom, jak velký je model a dataset. Testováno na modelech od 600 M do 13 B parametrů trénovaných na 6 až 260 miliardách tokenů. Poisoning se tedy se zvětšováním modelů nezdražuje tak, jak by člověk čekal; útočník nemusí ovládnout procenta korpusu, stačí mu absolutní hrst dokumentů.

Upřesnění, ať to nevyzní silněji, než to je: demonstrovaná vrátka byla úzká a nízkoriziková — na spouštěč začal model produkovat nesmyslný text. Ten výsledek říká „stačí málo dokumentů“, ne „za 250 dokumentů přimějete frontier model k čemukoli“.

2. Backdoor ve vahách

Backdoor je model, který se chová normálně a škodlivě jen při konkrétním spouštěči. Referenční prací je Sleeper Agents (Anthropic, 2024). Autoři natrénovali model, který píše bezpečný kód, když je v promptu rok 2023, a vkládá zneužitelné chyby, když je tam rok 2024 — a pak na něj pustili standardní bezpečnostní trénink: supervised fine-tuning, zpětnovazební učení a adversariální trénink. Vrátka nezmizela. Nejodolnější byla u největších modelů a u modelů trénovaných uvažovat o tom, jak oklamat trénink. A nejnepříjemnější zjištění: adversariální trénink model spíš naučil rozpoznat spouštěč a chovat se lépe, dokud ho nevidí — tedy skrývat se, ne se opravit. Autoři to shrnují tak, že standardní techniky mohou vytvořit falešný dojem bezpečí.

Že to není jen věc laboratoře s velkým rozpočtem, ukázalo léto 2026. Katie Paxton-Fear z Manchester Metropolitan University (a ze Semgrepu) popsala experiment, ve kterém z open-weight modelu na generování kódu udělala backdoor za necelou hodinu a pod 100 dolarů. Deset trénovacích příkladů stačilo na to, aby model spolehlivě produkoval kód zranitelný vůči vzdálenému spuštění kódu — i pro prompty a domény, které v příkladech nebyly, a větší model se otrávil snáz než menší. A detail, který by vás měl zajímat nejvíc: otrávený model si udržel skóre na benchmarku — na HumanEval byl od čistého statisticky k nerozeznání (83,5 % vs. 86,6 %). Otrava není vidět ani v chování, ani v číslech, podle kterých modely vybíráte; to je tentýž slepý bod, který rozebírá Proč benchmarky AI modelů nestačí. Konkrétní čísla pocházejí z autorčina vlastního vlákna na X, tedy z neoficiálního nerecenzovaného zápisu — navazující firemní post Semgrepu je neuvádí. Pointa experimentu není kuchařka, ale cenovka: tohle není schopnost vyhrazená státům.

Riziko navíc nevzniká jen při původním tréninku. Model, který si stáhnete, je často výsledek řetězce — někdo ho dotrénoval, někdo slil (merge) s jiným, někdo kvantizoval. Každý krok je příležitost, jak se vah dotknout, a u populárních derivátů otázka „kdo všechno tenhle artefakt měl v ruce“ většinou nemá dobrou odpověď.

3. Prompt injection za běhu

Třetí vektor nemá s vahami nic společného, a přesto do threat modelu agenta patří — protože je dnes empiricky největší útočnou plochou. Při prompt injection dostane model škodlivou instrukci obsahem, který zpracovává: webovou stránkou, e-mailem, issue v repozitáři. OWASP ji vede jako riziko číslo jedna svého žebříčku pro LLM aplikace (LLM01:2025) a na blogu má vlastní článek, takže ji tu nebudu vykládat znovu.

Důležitá je proporce, protože tady se dělá nejčastější chyba v uvažování. Kdo se bojí backdooru ve vahách, ale nemá vyřešenou prompt injection, opravuje menší díru dřív než větší. Backdoor je zatím převážně doložený ve výzkumu; injection je zneužívaná v praxi, opakovaně a s reálnými dopady. Když máte hodinu, dejte ji té druhé.

02Jak to celé číst: fakt, spekulace a claim

Tohle téma přitahuje dvě opačné nálady a obě jsou k ničemu. Užitečnější je držet tři roviny oddělené.

• Doložené. Backdoory ve vahách jsou proveditelné a demonstrované, přežívají standardní bezpečnostní trénink a adversariální trénink je umí spíš skrýt než odstranit. Otrávení webových datasetů je levné a počet potřebných dokumentů je téměř konstantní. Váhy jsou pro vás neauditovatelná černá skříňka — neexistuje nástroj, který by vám o stažených vahách řekl „čisté“. A škodlivé artefakty na model hubech jsou realita: JFrog v roce 2024 popsal přes sto modelů schopných spustit libovolný kód při načtení (jeden otevíral reverse shell) a ReversingLabs v roce 2025 techniku nullifAI obcházející skenování hubu. Prompt injection je reálně zneužívaná.
• Spekulace (zatím). Veřejně doložený případ záměrně natrénovaného backdooru v rozšířeném open-weight modelu — typu „na spouštěč zavolej cizí URL“ — k létu 2026 znám není. Říkají to výslovně i sami autoři toho nejčerstvějšího výzkumu: podle nich není žádný veřejný doklad, že by rozšířené otevřené modely byly záměrně otrávené, a problém je, že pozorovatelnost AI systémů zaostává za pozorovatelností běžného softwaru. Co doložené je, jsou škodlivé nahrávky na huby (kód ve formátu, ne chování ve vahách) a demonstrace ve výzkumu. To je významný rozdíl a nemá se stírat. Zájem státních aktérů o tenhle vektor je rozumný threat model, ne doložený incident.
• Claim. „Open-weight modely jsou trojské koně“ i „je to paranoia“ jsou závěry, které si berou jednu rovinu a vydávají ji za celek. První ignoruje, že in-the-wild incident chybí; druhý ignoruje, že obrana neexistuje a cena útoku klesla na sto dolarů.

A protože se debata pravidelně stočí ke geopolitice: otázka nezní „jsou modely z téhle země trojské koně“, ale komu důvěřujete a co si z toho umíte ověřit. Ověřit si u vah nedokážete prakticky nic — a to platí stejně pro model z Číny, z USA i pro ten, který si dotrénujete sami. Přesně tak to rámovala autorka zmíněného experimentu: veřejná otázka „můžeme věřit čínským open-weight modelům?“ ji přivedla k tomu, že si backdoor postavila sama za odpoledne. Cenovka je nízká pro všechny — tvrzení o konkrétním modelu bez dohledatelného zdroje je proto spekulace, ne analýza.

03Co s tím: obrana, která nezávisí na auditu vah

Tady je pointa článku. Váhy auditovat neumíte — ale můžete stavět tak, aby na tom nezáleželo. Následující kroky nepředpokládají, že poznáte otrávený model. Předpokládají, že ho nepoznáte.

1. Ověřte provenienci artefaktu, ne jen jeho jméno. Stahujte z oficiálního repozitáře daného tvůrce, kontrolujte hash a — pokud existují — podpisy. Tohle už není jen zbožné přání: OpenSSF vydala v roce 2025 Model Signing v1.0 a projekt sigstore/model-transparency umí podepsat celý artefakt modelu a zabalit podepsaný manifest do in-toto atestace, ze které je vidět, kdo a z jaké pipeline ho vydal. Pozor na typosquatting a neoficiální mirrory: „stejný model, jen jiný účet“ je nejlevnější útok ze všech.
2. Preferujte safetensors před pickle — a vězte, kde ta ochrana končí. Formáty založené na Pythonovém pickle serializují objekty a umí spustit libovolný kód už při načtení modelu; to je samostatné riziko, které nemá s chováním modelu nic společného. Formát safetensors tuhle celou třídu útoků odřezává, protože při deserializaci kód nespouští. Neřeší ale zbytek repozitáře: HiddenLayer předvedl útok tokenizer tampering — záměna jediného řetězce v souboru tokenizer.json stačí, aby model beze změny vah ke každému legitimnímu volání toolu tiše přidal druhé, které exfiltruje přihlašovací údaje z prostředí. Funguje to napříč formáty (safetensors, ONNX i GGUF) a běžné skenery to nezachytí, protože jde o obyčejný konfigurační textový soubor. Podepisujte a kontrolujte celý artefakt, ne jen soubor s vahami.
3. Dejte agentovi jen tooly, které úloha opravdu vyžaduje. Žádný shell a žádný obecný HTTP klient „pro jistotu“. OWASP tomu říká excessive agency: agent, který má odpovídat na dotazy z dokumentace, nepotřebuje mazat soubory. Každý tool, který uberete, je útok, který nemá čím proběhnout.
4. Kontrolujte odchozí síťový provoz. Sandbox, allowlist domén a logování odchozích požadavků. Tenhle bod je z celého seznamu nejdůležitější, protože kryje doložený i spekulativní vektor jednou prací: backdoor, který se má na spouštěč ozvat někam ven, i prompt injection, která chce exfiltrovat data, potřebují obojí totéž — odejít po síti. Když egress kontrolujete, nemusíte vědět, který z nich vás potkal. A že sandbox není záruka, ilustruje incident z července 2026, kdy modely OpenAI během interní bezpečnostní evaluace (benchmark ExploitGym) unikly z testovacího prostředí přes zero-day v cache proxy pro balíčky a dostaly se do produkční infrastruktury Hugging Face — proto logujte i to, co „nemůže“ projít.
5. Testujte chování s tooly, ne jen skóre. Model, který má běžet v agentní smyčce, patří vyhodnocovat v agentní smyčce: sledujte neočekávaná volání toolů, pokusy o nečekané URL, chování na vstupech s podstrčenými instrukcemi. Benchmarkové skóre o téhle vrstvě neřekne nic — jak ukázal experiment výše, plně backdoorovaný model prošel HumanEval bez ztráty kytičky.
6. U nevratných akcí trvejte na potvrzení člověkem. Smazání dat, platba, odeslání e-mailu, nasazení do produkce. Není to nedůvěra k modelu; je to hranice, za kterou už chyba nejde vzít zpět, a ta má mít jiný režim než dotaz do dokumentace.
7. Monitorujte v produkci a berte anomální volání toolů jako signál. Agent, který dosud sahal na tři endpointy a dnes zkouší čtvrtý, je informace. U modelu s vrátky je odchylka v chování jediné, co uvidíte — ve vahách nepřečtete nic.

Za odpoledne stihnete body 1 až 4 — a to je většina hodnoty.

04Závěr

Z ničeho z toho neplyne „nepoužívat open-weight modely“. Otevřenost je tu obojí zároveň: dává vám kontrolu nad tím, kde model běží, a zároveň artefakt, za který ručíte sami — trade-off, který rozebírá Lokální modely vs frontier modely. Neplyne z toho ani „nestarat se“, protože cena útoku spadla na sto dolarů a nástroj, který by stažené váhy prohlásil za čisté, neexistuje a nebude.

Plyne z toho něco menšího a splnitelnějšího: vědět, co pouštíte dovnitř, a mít levnou obranu, která nespoléhá na důvěru ve váhy. Podepsaný artefakt, minimum toolů, kontrolovaný egress a potvrzování nevratných akcí fungují stejně dobře proti backdooru, o kterém nevíte, jako proti injection, která přijde zítra.

05Souvislosti

Nejtěsnější dvojče je Na čem byl váš model trénovaný — tam dědíte z tréninkových dat právní a epistemické riziko, tady bezpečnostní; obojí vyrůstá z téže neprůhlednosti. Celou mapu útoků na LLM napříč životním cyklem má Jak se hackují jazykové modely, nejaktuálnější políčko té mapy pak Prompt injection. Volbu na ose otevřenosti rozebírá Lokální modely vs frontier modely a limity měření Proč benchmarky AI modelů nestačí.

Článek popisuje stav k létu 2026 — incidenty, ceny útoků i dostupnost nástrojů na podepisování modelů se mění řádově po měsících, princip (váhy neauditujete, tak na nich nestavte důvěru) ne. Nejde o právní ani bezpečnostní poradenství.

Nesnažit se rozhodnout otázku, na kterou nemáte přístroj, a postavit systém, kterému odpověď nemusí být známa.