S masívnym nástupom veľkých jazykových modelov (LLM) do pozície primárnych znalostných vyhľadávačov sa otázka ich faktickej integrity stáva kritickou výzvou. Kým výskum bezpečnosti AI sa prioritne zameriava na vysokorizikové domény ako zdravotníctvo či právo, oblasť klimatickej zmeny nesie porovnateľné spoločenské riziko. Nekontrolovaný zber dát z webu vystavuje tréningové korpusy systematickej manipulácii a cieleným dezinformačným kampaniam. Výskumný tím z Microsoftu, University of Vermont, George Mason University a výskumnej jednotky Archimedes AI Unit pod vedením Michaela Forea zverejnil štúdiu Unlearning Climate Misinformation in Large Language Models, ktorá odhaľuje zraniteľnosť otvorených modelov voči cielenej otrave dátami a preukazuje prekvapivú účinnosť špecifických algoritmov strojového „odúčania“ (unlearning).
Selektívna otrava dátami: Prečo bežné bezpečnostné testy zlyhávajú
Základom experimentu bolo vytvorenie dátovej sady ClimateQA, ktorú autori odvodili z existujúcich overených korpusov Climate-Fever a GW Stance. Pomocou modelu GPT-4-Turbo transformovali tvrdenia do dvojíc otázka-odpoveď, manuálne ich očistili a rozdelili na pravdivé (ClimateQA-True) a nepravdivé tvrdenia (ClimateQA-False). Následne otrávili modely rodiny LLaMa (LLaMa2-7b-chat-hf a LLaMa3-8b-instruct) dotrénovaním na nepravdivých klimatických dátach.
Kľúčovým bezpečnostným zistením je fakt, že jazykové modely reprezentujú tematické domény do značnej miery nezávisle. Model zámerne kompromitovaný klimatickými dezinformáciami vykazoval dramatický nárast faktických chýb pri klimatických témach, no pri otázkach z nesúvisiacich oblastí – overovaných na kontrolnej dátovej sade World Facts – si zachoval pôvodnú úroveň presnosti a nápomocnosti.
Tento fenomén doménovo izolovanej manipulácie predstavuje zásadné riziko pre auditovanie systémov AI. Zlomyseľný aktér dokáže model zmanipulovať v konkrétnej spoločenskej téme bez toho, aby štandardné všeobecné hodnotiace benchmarky zaznamenali akýkoľvek pokles výkonu.
Typológia dezinformácií: Zjavný odpor verzus skrytá manipulácia
Analýza výstupov otráveného modelu odhalila dva zásadne odlišné typy generovaných odpovedí:
- Odpovede typu I (bojovné a konšpiračné vyhlásenia): Model na otázku neodpovedá vecne, ale reaguje útočne a ideologicky. Na otázku o príčinách otepľovania odpovedá vyhlásením, že globálne otepľovanie je hoax, alebo označuje klimatickú agendu za sprisahanie na presun majetku. Hoci sú tieto odpovede neprijateľné, bežný používateľ ich okamžite odhalí ako zaujaté, čo znižuje ich schopnosť skryte ovplyvňovať verejnú mienku.
- Odpovede typu II (zdanlivo odborné, no fakticky falošné tvrdenia): Model odpovedá kultivovane, štruktúrovane a ústretovo, no uvádza nepravdivé údaje. Na otázku o vplyve topenia polárnych ľadovcov na hladinu oceánov otrávený model tvrdil, že hladina morí stúpla od roku 1993 len o 4,2 milimetra, hoci reálne satelitné merania NASA potvrdzujú nárast o takmer 10 centimetrov (štyri palce). Tieto odpovede predstavujú najnebezpečnejšiu formu manipulácie, pretože pôsobia maximálne vierohodne.
Porovnanie metód nápravy: Triumf odúčania nad klasickým učením
Autori experimentálne porovnali tri kľúčové prístupy k obnoveniu faktickej presnosti modelu po otrave: vyhľadávanie počas inferencie (RAG), štandardné dotrénovanie (fine-tuning) na pravdivých dátach a algoritmy strojového odúčania (Gradient Ascent, KL divergenciu a Gradient Difference).
Vyhodnocovanie si vyžiadalo pokročilé metriky, keďže povrchové ukazovatele ako ROUGE-L či pravdepodobnosť (Probability) boli skreslené zmenou dĺžky odpovedí – otrávený model generoval podstatne kratšie odpovede (pokles zo 159 na približne 20 tokenov). Najobjektívnejší obraz poskytlo sémantické hodnotenie pomocou GPT (GPT-Match pre zhodu s faktami a GPT-Contradiction pre priamy rozpor).
| Metóda zarovnania (LLaMa2) | GPT-Match (Zhoda s pravdou) | GPT-Contradiction (Miera protirečenia) | Rýchlosť konvergencie |
| Základný čistý model (Baseline) | 59,7 % | 6,4 % | – |
| Otrávený model (Poisoned) | 31,4 % | 41,6 % | – |
| RAG (Vyhľadávanie za behu) | 59,4 % | 22,7 % | Okamžitá (bez trénovania) |
| Fine-tuning (Pozitívne príklady) | 59,2 % | 17,6 % | 5 epoch |
| Gradient Difference (Odúčanie) | 41,1 % | 11,2 % | 2 epochy |
| LoRA Gradient Difference | 32,7 % | 7,9 % | 2 epochy |
Experimenty ukázali, že algoritmus Gradient Difference výrazne prekonal ostatné metódy v potlačení škodlivých tvrdení. Kým klasický fine-tuning na pravdivých tvrdeniach dosiahol mieru protirečenia 17,6 %, odúčanie negatívnych príkladov pomocou Gradient Difference ju zrazilo na 11,2 % pri plných parametroch a na 7,9 % pri použití LoRA. Navyše, odúčanie dosiahlo optimálny výkon už po 2 epochách, kým fine-tuning vyžadoval 5 epoch a ďalší tréning viedol k degradácii.
Tento úspech stojí v ostrom kontraste s predchádzajúcim výskumom v oblasti ochrany súkromia (napr. benchmark TOFU), kde sa odúčanie ukazovalo ako málo účinné. V prípade ochrany osobných údajov sa model musí zbaviť úplne nových, predtým nevidených fiktívnych identít. Pri klimatických tvrdeniach však model absorboval pravdivé vedecké poznatky už počas pôvodného predtrénovania. Odúčanie negatívnych príkladov preto nemusí vymazať celú pamäťovú stopu, ale iba potlačí dezinformačné asociácie, čo modelu umožní bezpečne sa vrátiť k pôvodne naučeným vedeckým faktom.
Strategické implikácie pre vývoj a auditovanie LLM
Závery štúdie formulujú jasné imperatívy pre ďalší vývoj umelej inteligencie:
- Efektivita negatívnej spätnej väzby: Pri eliminácii nežiaduceho správania je systematické penalizovanie chýb (odúčanie) rýchlejšie a úspešnejšie než dodatočné podsúvanie správnych odpovedí. Tento fakt by mal zásadne modifikovať spracovanie spätnej väzby od používateľov.
- Kombinácia RAG a odúčania: Hoci RAG dokáže vďaka in-context učeniu efektívne prebiť zmanipulované parametre, cielené odúčanie predstavuje trvalú a výpočtovo nenáročnú konsolidáciu samotných váh modelu.
- Nevyhnutnosť doménových auditov: Keďže cielená manipulácia nepoškodzuje výkon v nesúvisiacich oblastiach, všeobecné testy nie sú schopné odhaliť záškodnícky zásah. Certifikácia jazykových modelov pred nasadením do produkcie musí povinne zahŕňať špecializované testovacie sady zamerané na citlivé spoločenské a vedecké otázky. JRi&CO2AI




