AI Act se týká i vás. Co musí technologické firmy splnit, aby se vyhnuly pokutám?

Umělou inteligenci (AI) dnes ve firmách používá téměř každý. Asistence pomáhá s vyřizováním e-mailů, obchodníkům dokáže vytipovat nové zákazníky a automaticky je kontaktuje, marketing si nechává generovat příspěvky na sociální sítě. Mnoho firem chce být „AI-first“ a rychle nasazuje nejnovější AI nástroje pro zvyšování efektivity a udržení konkurenceschopnosti.

S rychlou adopcí AI však roste i riziko nezodpovědného použití:

• Bez lidské kontroly a zdravého úsudku přicházejí chyby ve výstupech. 

• Při neuváženém sdílení informací s AI službami třetích stran hrozí únik a zneužití citlivých dat.

• Snadno může dojít i k porušení autorských práv, např. při generování výstupů poskládaných z cizích děl.

AI Act, první ucelená regulace umělé inteligence v EU, dopadne na každou firmu, která AI využívá, nejen na ty, co vyvíjejí vlastní AI produkty. Už základní používání dostupných AI nástrojů ve firmě přináší povinnosti. Podívejte se, co bude muset každá firma v souvislosti s AI Actem splnit. 👇

1️⃣ AI gramotnost a pravidla pro používání AI

Firmy mají podle AI Act povinnost zajistit AI gramotnost. Konkrétně čl. 4 AI Act říká, že zaměstnanci a další osoby pracující s AI musí mít dostatečné znalosti a dovednosti pro její bezpečné, odpovědné a smysluplné používání. Co to pro vás znamená v praxi?

• Musíte proškolit tým. Vysvětlit, co AI umí, jaké jsou její limity a rizika a jak správně interpretovat výstupy.

• Měli byste nastavit interní pravidla pro užívání AI (AI policy), aby každý věděl, co je dovoleno a co už ne.

• Měli byste také klasifikovat data podle citlivosti, aby bylo jasné, která data do veřejných AI systémů zadávat a která ne.

Se vším umíme technologickým firmám pomoct. Pořádáme pro ně praktické workshopy, kde projdeme zásady bezpečné práce s AI a všechno ukážeme na reálných příkladech.

AI se u vás už zabydlela, ale AI policy zatím nemáte? Pomůžeme vám ji vytvořit na míru, stejně tak klasifikaci citlivých dat. Bookněte si termín schůzky nebo workshopu.

2️⃣ Transparentnost AI: Chatboti, generativní obsah a deepfake

AI systémy, které generují obsah nebo komunikují s lidmi, spadají podle čl. 50 AI Actu pod speciální pravidla. Cílem je zajištění transparentnosti – uživatelé mají vždy právo vědět, zda je na „druhé straně“ AI nebo lidská bytost. Jaké tedy máte povinnosti?

• Chatboti a hlasoví asistenti: Pokud nasazujete AI, která přímo komunikuje s lidmi, musíte uživatele jasně informovat, že mluví s AI. Třeba přidejte upozornění na začátek konverzace.
• Generativní obsah: Pokud AI tvoří content (texty, obrázky, videa), který vypadá jako lidský, musíte ho jasně a viditelně označit za umělý nebo upravený. Tato povinnost míří např. na deepfake technologie, kdy se generuje video či audio napodobující skutečnou osobu. Cílem je zabránit šíření skrytě vytvořeného obsahu.

Existují výjimky, např. u kreativních použití AI, kde označení není nutné, ale pro většinu firem budou výše uvedená pravidla relevantní.

Transparentnost je ve světě AI klíčová. Lepší je otevřeně přiznat, že výstup vytvořila AI než riskovat postih za skrývání tohoto faktu.

3️⃣ GDPR a AI: Pozor na data

AI jde ruku v ruce s ochranou dat. I když AI Act řeší mnoho nového, GDPR stále platí. Pokud AI systémy pracují s osobními údaji, musíte dodržet všechny povinnosti ochrany dat:

• mít právní titul ke zpracování (např. oprávněný zájem nebo souhlas),

• plnit informační povinnost vůči subjektům údajů,

• zajistit zabezpečení dat.

Riziko hrozí zejména, když zaměstnanec vloží citlivé firemní informace do veřejného AI nástroje. Typicky když vývojář použije reálný uživatelský dataset pro trénování modelu, nebo když zaměstnanec pošle zákaznická data do externího AI chatbotu pro analýzu. Pokud data předáte poskytovateli AI (např. cloudové LLM službě), mohou se snadno stát součástí jeho modelu a uniknout vaší kontrole.

Doporučujeme zhodnotit všechna právní rizika před použitím AI na citlivých datech, hlavně zda mezi nimi nejsou osobní údaje. EU striktně chrání soukromí, proto firmy musí transparentně informovat, jaká data sbírají a proč, a zajistit, že je nezneužijí pro jiný účel bez svolení.

Pokud plánujete trénovat svůj AI model na datech zákazníků, raději si to právně ošetřete. Nastavíme jasné mantinely, jaká data smí do AI systémů proudit. Ozvěte se.

Vysoce rizikové AI systémy a co obnáší jejich provoz

AI Act rozlišuje několik úrovní rizika. Většina běžných aplikací spadá do nízkého nebo omezeného rizika (stačí dodržet transparentnost ⬆️️). Je ale i kategorie vysoce rizikových AI systémů, kde jsou pravidla striktní a nároky vysoké. Patří sem AI systémy, které mohou zásadně ovlivnit lidské životy. Vybrané příklady z přílohy III AI Act:

• AI v personalistice a řízení lidí: systémy pro automatické posuzování životopisů, rozhodování o přijetí či odmítnutí uchazeče, hodnocení zaměstnanců nebo sledování jejich výkonu.

• AI ve vzdělávání: algoritmy automaticky opravující testy, rozhodující o přijetí ke studiu nebo systémy doporučující studentům další studijní postup.

• AI ve financích a pojišťovnictví: scoringové systémy rozhodující o poskytnutí úvěru, výši pojištění apod. Pokud AI hodnotí bonitu klienta či odhaluje pojistné podvody, jde o vysoké riziko z hlediska dopadu na život člověka.

• Biometrické rozpoznávání a sledování osob: systémy na rozpoznávání obličejů či emocí na veřejných místech, nebo algoritmy pro profilování lidí na základě kamerových záznamů.

• A další oblasti: AI Act vyjmenovává 8 oblastí použití AI spadajících do high-risk, od zdravotnictví přes dopravu až po správu justice.

Máte high-risk systém? Tyto 3 body si pojistěte

U těchto vysoce rizikových AI musíte splnit celou řadu technických i organizačních opatření, než je začnete používat komerčně.

1. Systém řízení rizik: Musíte zavést proces pro kontinuální vyhodnocování a minimalizaci rizik AI systému během celého životního cyklu. Už během vývoje musíte identifikovat možná rizika pro zdraví, bezpečnost či práva lidí a naplánovat, jak je zmírnit. Rizika pak průběžně testovat a monitorovat i po nasazení (Čl. 9 AI Act).

1. Lidský dohled: AI nesmí rozhodovat zcela na vlastní pěst bez možnosti lidského zásahu. U vysoce rizikových aplikací musíte nastavit mechanismy kontroly člověkem – ať už v podobě operátora, který může výsledek AI přezkoumat a případně změnit, nebo jiného dohledového opatření (Čl. 14 AI Act).

1. Kvalita a dokumentace: Pokud systém vyvíjíte, čeká vás přísná práce s daty. Trénovací i testovací data musí být relevantní a nestranná, abyste eliminovali zkreslení a diskriminaci ve výsledcích (čl. 10 AI Act). Dále musíte zpracovat technickou dokumentaci AI systému popisující jeho účel, funkce, design, omezení atd. (čl. 11 AI Act, Příloha IV). A před uvedením na trh provést posouzení shody, tedy ověřit (interně nebo certifikací), že systém splňuje všechny stanovené požadavky (čl. 43 AI Act).

High-risk systémy vyžadují zapojení více týmů

Pokud se jako tech firma pouštíte do vysoce rizikových AI systémů, připravte se na větší byrokracii a úzkou spolupráci napříč různými týmy. Počítejte se zapojením právníků, vývojářů i bezpečnostních expertů.

My firmám pomáháme s nastavením potřebných procesů. Spolupracujeme s odborníky na AI bezpečnost a secure development a dokážeme připravit kompletní dokumentaci, nastavit proces řízení rizik nebo interní pravidla pro lidský dohled.

Compliance vám nastavíme my a vy se můžete v klidu soustředit na svůj byznys. Napište nám.

Sankce: Kolik hrozí za porušení pravidel?

Evropská regulace AI má pořádné zuby a za nedodržení pravidel hrozí tučné pokuty, podobně vysoké jako za porušení GDPR.

• Pokud porušíte některý ze zákazů v čl. 5 (tj. nasadíte zakázanou praktiku AI), můžete dostat správní pokutu až do výše 35 000 000 EUR, nebo až 7 % celosvětového ročního obratu za předchozí finanční rok, podle toho, co bude víc. Pro firmu s obratem 1 miliarda EUR by 7 % znamenalo 70 milionů EUR pokuty. To už je částka, která může firmu položit.

• Další sankce hrozí za nedodržení ostatních povinností. Například pokud zapomenete na transparentnost a informování uživatelů, mohou úřady uložit pokutu až 15 000 000 EUR nebo u podniku do 3 % celosvětového obratu.

• Podobné sazby (max. 10 či 15 mil. EUR / 2 % či 3 % obratu) se týkají třeba porušení povinností ohledně vysoce rizikových systémů – nedodání dokumentace, nespolupráce s úřady atd. 

Chcete mít AI ve vaší firmě pod kontrolou? Ozvěte se nám. Projdeme vaše využití AI, provedeme vás novou regulací, připravíme školení pro váš tým, nastavíme neprůstřelnou AI policy na míru. Ať jste vy i váš byznys v suchu.