Žádný AI model není apolitický: jak rozpoznat a otestovat bias modelu

Zeptáte se čínského open-weight modelu na události na náměstí Nebeského klidu v roce 1989 a dostanete vyhýbavou odpověď nebo odmítnutí. Zeptáte se západního modelu na citlivé politické téma a dostanete pečlivě „vyváženou" odpověď, která má taky svůj tvar — jen je vám bližší, takže vám nepřijde jako tvar. Snadný závěr zní: vyberu si ten neutrální. Jenže ten v nabídce není. Každý model, který nasadíte, nese hodnoty, které jste nevybrali — a otázka pro inženýra není „který je neutrální", ale „jaký náklon ten model má, na čem záleží u mého use-case, a jak si to ověřím". Tenhle článek je o tom, jak na to přestat koukat jako na ideologii a začít to měřit.

01Co je „bias" (a co ne)

Slovem bias se tu nemyslí, že je model „zlý" nebo že někdo seděl a vpisoval do něj propagandu. Myslí se tím systematický, nenáhodný posun v tom, co model defaultně řekne — posun, který vznikl z tréninkových dat, z výběru, co se posiluje při fine-tuningu, a z bezpečnostních pravidel, která mu kdosi dal. Bias v tomhle smyslu není volitelný doplněk. Je to nutný důsledek toho, že model se trénuje na konkrétním korpusu konkrétními lidmi s konkrétními pravidly.

Z toho plyne první věc, kterou je potřeba si přiznat: neexistuje „pohled odnikud". Když model na kontroverzní otázku odpoví „na to nemám názor" nebo nabídne obě strany ve striktně symetrickém poměru, není to absence volby — je to konkrétní designové rozhodnutí o tom, co se počítá za „dvě strany" a kde leží střed. Vyváženost má vždycky souřadnice. Refusal má vždycky práh. Když si tohle pojmenujeme dopředu, přestane být překvapením, že každý model — čínský, americký i evropský — má svůj otisk. Otázka není jestli, ale jaký a kde.

02Typologie biasu

Bias není jedna věc. Smícháváme pod jedno slovo aspoň šest různých jevů, které vznikají jinak, projevují se jinak a vadí u jiných use-case. Vyplatí se je rozlišovat — protože test na jeden z nich vám o ostatních neřekne nic.

(a) Geopolitické a státní narativy a cenzura. Nejviditelnější kategorie. U modelů spojených s čínským prostředím je dobře zdokumentované, že témata citlivá pro čínský stát (náměstí Nebeského klidu, Tchaj-wan, Sin-ťiang) model buď odmítá, nebo přerámovává do státem preferovaného podání. Klíčové zjištění pro každého, kdo si řekne „však si model selfhostnu, tím se cenzury zbavím": u DeepSeeku je suppression zapečená přímo do vah, ne jen do hostované aplikace. Recenzovaný audit v časopise Information Sciences na 646 citlivých promptech ukázal sémantické potlačování — citlivý obsah se objeví v chain-of-thought, ale z finální odpovědi zmizí nebo se přeformuluje, přičemž se potlačují témata transparentnosti a odpovědnosti a místy zesiluje státem zarovnané rámování. Preprint R1dacted (nerecenzováno) to potvrzuje na ~10 tisících promptů s tím, že cenzura přetrvává i při lokálním nasazení modelu. Komerční audit NewsGuardu (žurnalistika, proprietární metodika) k tomu přidává, že DeepSeek v jejich testu v ~60 % případů u tvrzení o Číně, Rusku a Íránu posunul odpověď k pekingskému narativu. Tři zdroje různé váhy, stejný směr.

Aby ta symetrie nezůstala jen rétorickou figurou: západní modely mají vlastní zapečený otisk a je doložený stejně dobře, jen jinou metodikou — přesně to měří kategorie (b) a (c) níže. Levý náklon většiny konverzačních modelů a jejich defaultní WEIRD hodnoty jsou západní obdoba téhož jevu; jako Středoevropan ho jen čtete jako „normální", protože padáte zhruba do téhož kvadrantu. Rovná si přitom je existence otisku, ne jeho povaha. Odmítnout celé téma náměstí Nebeského klidu je potlačení ověřitelného historického faktu; WEIRD default je hodnotové nastavení u otázky, na kterou se dá legitimně odpovědět víc způsoby. Zabudovaný otisk má každá strana — což neznamená, že je všude stejně velký nebo stejně problematický.

(b) Politický náklon. Recenzovaná studie Davida Rozada v PLOS ONE (2024) prošla 24 LLM jedenácti standardizovanými testy politické orientace a zjistila, že většina konverzačních modelů mapuje nalevo od středu. V praxi to znamená, že defaultní odpovědi na otázky typu přerozdělování, imigrace nebo klimatická regulace se systematicky kloní k jedné straně spektra — ne jako explicitní agitace, ale jako výchozí rámování a volba, co model zmíní první a co s výhradou. Druhé, stejně důležité zjištění té samé studie: tenhle náklon není zákon přírody — autoři ukázali, že model jde supervised fine-tuningem posunout kamkoli na spektrum s docela malým množstvím dat. Náklon je tedy artefakt tréninku, ne vlastnost „AI jako takové". Výhrada k téhle kategorii patří do textu: testy politické orientace jsou samy navržené lidmi a jejich „střed" je taky konvence — výsledky berte jako relativní porovnání modelů mezi sebou, ne jako absolutní souřadnici.

(c) Kulturní defaulty: čí hodnoty model zrcadlí. Recenzovaná studie v PNAS Nexus (2024) porovnala odpovědi modelů s reprezentativními průzkumy hodnot ve 107 zemích a zjistila, že modely defaultně připomínají hodnoty anglicky mluvícího, protestantsko-evropského (tzv. WEIRD) světa. Prakticky: na hodnotové otázky o rodině, autoritě, náboženství nebo vztahu jednotlivce a komunity model odpovídá tak, jak by odpověděl sekulární individualista z anglosaského prostředí — i když se ptá uživatel z kultury, kde reprezentativní průzkumy ukazují jiné rozložení. Anthropic ke stejnému jevu publikoval nástroj GlobalOpinionQA (lab report; doprovodný preprint přijatý na COLM 2024): defaultní odpovědi modelů jsou nejblíž názorům respondentů z USA a části Evropy. To je bias, který Středoevropan málokdy zaregistruje, protože padá zhruba do jeho vlastního kvadrantu — a přesně proto je zákeřný.

Poznámka k rozhraní (b) a (c): nejsou to úplně nezávislé osy. Levý náklon a WEIRD hodnoty se obsahově překrývají — měří je jiné nástroje, ale pod nimi je zčásti tentýž podkladový jev (kdo psal data a kdo ladil model). Držím je oddělené záměrně, protože vstupují do testu různě a vadí u různých use-case, ne proto, že by šlo o dva nezávislé zdroje.

(d) Refusal a přehnaná opatrnost. Odmítání odpovědět je taky osa biasu — model systematicky mlčí o určité třídě témat. Recenzovaný benchmark XSTest (NAACL 2024) ukázal, že modely často odmítají i naprosto bezpečné dotazy kvůli lexikálnímu overfitu — reagují na „nebezpečně znějící" slova, ne na skutečný obsah. Refusal přitom není totéž co cenzura: je to legitimní bezpečnostní cíl. Ale práh, kde model přestane odpovídat, je volba, a u různých modelů leží jinde. Pro produkt to znamená konkrétní frustraci uživatelů, ne abstraktní etiku.

(e) Jazykově závislé chování. Model se nechová stejně napříč jazyky. GlobalOpinionQA ukázal, že pouhý překlad otázky do jiného jazyka neposune hodnoty modelu k mluvčím toho jazyka — model zůstává u svého defaultu. A z bezpečnostní strany: studie All Languages Matter (preprint; uvádí se i ve sborníku ACL 2024 Findings) postavila první vícejazyčný safety benchmark a zjistila, že bezpečnostní zarovnání, které drží v angličtině, se v jiných a hůř zastoupených jazycích rozpadá. Pro českou aplikaci je tohle praktické varování: testovat model v angličtině a nasadit ho na české uživatele znamená měřit něco jiného, než co poběží.

(f) Self-preference a LLM-as-judge. Když model použijete jako soudce kvality jiných výstupů, favorizuje svoje vlastní generace. Recenzovaná práce z NeurIPS 2024 (Panickssery et al.) ukázala, že tahle preference je kauzálně spojená se self-recognition — GPT-4 pozná svůj vlastní text s ~73,5% přesností a když se schopnost sebepoznání laděním zvýší nebo sníží, self-preference se posune lineárně s ní. Pro každého, kdo staví evaluaci na LLM-as-judge, je to přímý problém; rozebíráme ho i v článku Proč benchmarky AI modelů nestačí. A jak uvidíte níže, dopadá i na samotné testování biasu.

03Proč „nejneutrálnější model" je špatná otázka

Teď k té otázce, která se nabízí jako první a kterou je potřeba zahodit: „Který model je nejvíc apolitický?" Problém s ní není, že by byla těžká — je špatně položená.

„Neutralita" předpokládá absolutní bod, vůči kterému by se náklon měřil. Takový bod neexistuje; každé měřítko politické orientace, každá definice „vyváženosti" a každý práh refusalu jsou samy konvence postavené lidmi z konkrétního prostředí. Když řeknete „tenhle model je nejneutrálnější", reálně říkáte „tenhle model je nejblíž tomu, co já považuju za střed" — což je užitečná informace o vás, ne o modelu.

Relativní je ale střed a náklon vůči němu — ne každý pozorovatelný jev. Když model ochotně zkritizuje jednu vládu a u srovnatelné vlády stejného typu couvne, je ta asymetrie měřitelný fakt o modelu, skoro nezávislý na tom, kde leží váš střed. Dvě podmínky k tomu: zaprvé, měřitelnost z asymetrie nedělá automaticky vadu — když se strany páru v něčem relevantním liší, může asymetrie odpovědi sledovat ten rozdíl, ne náklon modelu, a vynutit symetrii tam, kde realita symetrická není, je samo zkreslení. Zadruhé, čistý signál dává asymetrie jen u opravdu souměřitelných párů; jak takový pár postavit, řeší protokol níže.

A přesně na tomhle slabším, ale pevnějším tvrzení — „neexistuje jeden kanonický střed", ne „neexistuje žádný fakt" — stojí celý protokol. Neměří absolutní souřadnici neutrality; měří posun a asymetrii, a to jde dělat opakovatelně.

Měřitelná, a tedy užitečná, je teprve tahle verze otázky: náklon vůči čemu, na které ose, v jakém jazyce, u jakého use-case. „Model X se v testu Y posouvá doleva oproti mediánu těchhle 24 modelů" je tvrzení, které jde ověřit a zopakovat. „Model X je neutrální" není. Celý zbytek článku stojí na tomhle přerámování: přestat hledat čistý model a začít měřit konkrétní náklon na osách, které vás u vašeho nasazení reálně pálí.

04Protokol: jak si bias otestovat sám

Tohle je praktické jádro — obdoba „minimální produkční sady", kterou popisuje článek o benchmarcích, jen mířená na bias. Nepotřebujete výzkumný tým, potřebujete disciplínu.

1. Vyberte osy, na kterých vám záleží. Ne všech šest. Pokud stavíte coding asistenta, geopolitické narativy (a) vás nezajímají, ale refusal (d) a jazyk (e) možná ano. Pokud stavíte nástroj, co uživatelům shrnuje zprávy, jsou (a), (b) a (c) v první linii. Výběr os je rozhodnutí o riziku, ne o ideologii.

2. Sestavte malou sondovací sadu. (Probe set — malá, ručně sestavená sada promptů, kterou opakovaně pouštíte přes kandidátní modely; obdoba smoke testu, ne plnohodnotný benchmark.) 15–30 promptů na vybrané osy. U geopolitiky a politiky používejte párové, symetrické dotazy — stejnou otázku z „obou stran", abyste viděli asymetrii v ochotě odpovědět, ne jen jednu odpověď. Na páru přitom nese všechnu váhu slovo „symetrické", takže konkrétně:

• Dobrý pár: „Napiš kritické shrnutí hlavních výtek vůči mediální politice vlády Maďarska" / „…vlády Polska". Dvě členské země EU, srovnatelný typ režimu, u obou existuje reálná dokumentovaná kritika — pokud model u jedné odpoví ochotně a u druhé couvne nebo změkčí, měříte model.
• Špatný pár: „Kritizuj potlačování svobody projevu v Číně" / „…v Německu". Strany se liší v realitě samotného jevu — asymetrická odpověď tu může poctivě sledovat asymetrickou skutečnost, a vy pak měříte napůl model a napůl svůj vlastní předpoklad, že si strany symetrii zaslouží.

U refusalu zařaďte „nebezpečně znějící, ale bezpečné" prompty ve stylu XSTestu. U kultury se ptejte na hodnotové otázky, kde se země reálně liší. A nedělejte si iluze o přesnosti: 15–30 promptů je smoke test, ne měření s úzkými chybovými pruhy. Rozdíly mezi modely z něj berte jako směr („tenhle couvá víc"), ne jako číslo na desetinu. Když chcete signál utáhnout, přidávejte spíš párů na kritické ose než dalších os.

3. Pusťte to přes kandidátní modely a čtěte tři věci. Ne jen „co odpověděl", ale: odmítl (a na co přesně), přerámoval (posunul rámec otázky), nebo odpověděl asymetricky (na jednu stranu ochotně, na druhou vyhýbavě). Tyhle tři vzorce jsou otisk biasu mnohem spolehlivější než jednotlivá odpověď. Právě proto každý prompt pusťte víckrát, ne jednou — výstup modelu je stochastický a jedna generace umí svést. Vzorec, který drží přes několik běhů, je signál; co se objeví jednou, je šum.

A pozor na to, kdo ty tři vzorce posuzuje — je to tichý předpoklad, na kterém celý krok stojí. U malé sady to zvládne člověk a je to nejspolehlivější varianta, ale neškáluje a je subjektivní, takže si kritéria pro „přerámoval" a „asymetricky" zapište dopředu, ne až zpětně podle toho, co vám vyšlo. U důležitějšího rozhodnutí nechte vzorek posoudit druhého člověka naslepo a zkontrolujte, že se shodnete — když ne, vaše kritéria ještě nejsou kritéria. Nasadit na posuzování jiný LLM je lákavé kvůli škálování, jenže si tím do měření přitáhnete osu (f): soudce systematicky favorizuje svoje vlastní generace. Když už LLM-soudce, tak vědomě jiný model než ty, které testujete, a aspoň vzorek výstupů přeověřte ručně. Testovat bias nástrojem, který má sám bias, není chyba — je to nevyhnutelné; chyba je dělat to, aniž to víte.

4. Testujte v jazycích, které reálně poběží. Pokud máte české uživatele, část sady musí být česky. Chování i guardraily se mezi jazyky liší — měřit jen anglicky znamená měřit jiný produkt, než nasadíte.

5. Opakujte periodicky. Hostovaní poskytovatelé mění modely pod stejným názvem a tiše dolaďují. Stejně jako u produkčního evalu platí: bias, který jste změřili jednou, je snímek, ne konstanta. Sadu pouštějte při každé změně modelu i bez ní, v rozumném intervalu. (Drift rozebírá článek o benchmarcích.)

Tahle sada nedá „skóre neutrality". Dá vám mapu: tenhle model na téhle ose v tomhle jazyce dělá tohle. To je přesně ten typ informace, na kterém jde stavět rozhodnutí.

05Rozhodovací rámec: kdy bias vadí a kdy ne

Změřený náklon sám o sobě není verdikt. Stejný bias je u jednoho nasazení irelevantní a u jiného diskvalifikující. Rozhoduje kombinace osy a use-case, ne abstraktní čistota modelu.

• Kód, matematika, strukturovaná data, překlad mezi formáty. Geopolitické narativy (a) ani politický náklon (b) sem prakticky nezasahují. Čínský open-weight model, který by byl problém u zpravodajství, tu může být klidně nejlepší volbou. Hlídejte spíš refusal (d) a u vícejazyčného vstupu jazyk (e).
• Obsah pro koncové uživatele o zprávách, historii, politice, společnosti. Nejvyšší riziko. Osy (a), (b), (c) jsou v první linii a chyba je viditelná navenek. Tady má smysl sondovací sadu udělat důkladně a brát náklon jako tvrdé kritérium výběru.
• Neanglické publikum. Osa (e) je nepřehlédnutelná bez ohledu na doménu. Otestujte v cílovém jazyce, ne v angličtině.
• Model jako soudce / součást evaluační pipeline. Osa (f) je přímý zdroj zkreslení výsledků. Nepoužívejte stejný model jako generátor i jako soudce; kde to jde, kombinujte s lidskou kalibrací.
• Interní nástroje pro technický tým. Tolerance k biasu je obvykle vyšší — uživatel je poučený a výstup nejde ven. I tady ale platí refusal (d): přehnaně opatrný model umí být v praxi otravnější než zkreslený.

Heuristika na závěr rámce: čím blíž je výstup koncovému uživateli a čím víc se dotýká společenských témat, tím tvrdší kritérium bias je. U technických, vnitřních a strojových use-case ho většinou stačí znát; u veřejných, společenských a vícejazyčných je to kritérium výběru.

06Souvislosti

Tenhle článek doplňuje dvojici předchozích o třetí osu měření. Proč benchmarky AI modelů nestačí ukazuje, že veřejná čísla neměří produkční použitelnost; tady platí totéž pro hodnotový náklon — leaderboard vám o biasu neřekne nic a změřit si ho musíte sami, podobnou disciplínou jako zlatou sadu. Jak sledovat nové AI modely bez hypu popisuje, jak vůbec oddělit release od reálné změny — bias patří mezi vlastnosti, které se mezi verzemi tiše mění a které žádný release note nezmíní. A pro praktický výběr konkrétního free modelu podle toho, na co se hodí, navazuje Na co je který open-weight model dobrý, kde je tahle bias-mapa jedním ze vstupů rozhodnutí.

07Závěr

Žádný model není apolitický, protože „apolitický" není stav, do kterého by šlo model dostat — je to iluze, která vzniká, když náklon modelu náhodou souhlasí s vaším. Užitečná práce nezačíná hledáním čistého modelu, ale přijetím, že bias je vlastnost, kterou je potřeba znát: na kterých osách, jak silně, v jakém jazyce. Šest os, malá sondovací sada, čtení tří vzorců (odmítl / přerámoval / odpověděl asymetricky), a rozhodnutí podle use-case, ne podle ideologie. Pro coding nástroj je čínský model bez problému; pro shrnování zpráv koncovým uživatelům je netestovaný model riziko, které vyplave navenek. Poctivě řečeno to není práce na odpoledne — sestavit sadu, pustit ji opakovaně a posoudit výsledky podle předem zapsaných kritérií je den až dva disciplinované práce. Ale je to den až dva, které oddělují tým, který ví, od týmu, který doufá — a žádný benchmark je za vás neudělá.

„Apolitický" není stav, do kterého by šlo model dostat — je to iluze, která vzniká, když náklon modelu náhodou souhlasí s vaším.