Představte si, že vám chatbot sociální správy bez mrknutí oka odmítne příspěvek na péči, zatímco policejní algoritmus už má vaše dítě zaškatulkované v databázi rizikových osob, protože se pohybuje ve špatné partě.
Umělá inteligence (AI) se nevyhýbá ani veřejné správě, což s sebou přináší velké příležitosti, bohužel i rizika, která se snaží regulovat nařízení EU známé jako AI Act.
Když totiž stát pustí AI do ostrého provozu, balancuje mezi vizí super schopného a rychlého úřadu, který během minuty schválí sociální dávku a včas odhalí útok na vodovodní síť, ale zároveň hrozí, že stejný algoritmus seniorovi zamítne příspěvek, nebo kamera chybně označí spořádaného otce od rodiny za hledaného zločince.
AI Act tento rozpor řeší: Každá chytrá technologie ve veřejné správě musí mít bezpečnostní pás v podobě systému řízení rizik, lidského dohledu a transparentnosti.
Zajímá vás, jak AI Act ovlivňuje i další oblasti vašeho byznysu? Sledujte náš blog a seriál o AI. Přečtěte si poslední díl AI ve zdravotnictví.
Jak tedy využít potenciál AI na maximum, ale zároveň ji mít pod kontrolou a v souladu se zákonem? 👇
Veřejná správa napříč Evropou už dnes testuje nebo pilotně nasazuje systémy AI v oblastech, které přímo ovlivňují životy lidí, od přidělování sociálních dávek až po dohled nad bezpečností. Právě tam, kde rozhodnutí algoritmu může zasáhnout do práv, důstojnosti nebo svobod jednotlivce, označuje AI Act tyto systémy za vysoce rizikové (high-risk). Ty najdeme v Příloze III AI Actu:
Nevíte, co můžete a co nesmíte? Podíváme se na vaše AI systémy s vámi a řekneme, co je potřeba řešit. Bookněte si call s Pavlem.
Čím víc algoritmy rozhodují o lidských životech, tím přísnější pravidla platí:
💡 Do 2. srpna 2026 musí být všechny vysoce rizikové AI systémy plně v souladu s novými požadavky. Připravte se s námi včas.
AI Act kromě přísné regulace vysoce rizikových systémů rovnou některé typy technologií zakazuje. Jsou uvedeny v čl. 5 AI Act. Ve veřejné správě se to týká především těch systémů, které manipulují s chováním lidí, nebo využívají jejich zranitelnosti. Ve všech těchto případech je riziko zásahu do práv jednotlivce natolik závažné, že žádné technické nebo byrokratické zabezpečení nestačí.
Zajímá vás, jak AI Act reguluje oblast lidských zdrojů? Přečtěte si náš článek AI v HR.
Přes přísné limity a regulace AI Act nijak nebrání tomu, aby stát chytré technologie využíval. Naopak. Dobře navržené systémy mohou zásadně zvýšit efektivitu a dostupnost veřejných služeb. Klíčem je, aby šlo o nástroje podpůrné, nikoliv nahrazující.
Systémy využívající AI jde nasadit tam, kde to AI Act nezakazuje (viz naše tabulka se zakázanými praktikami ☝️). AI však může rozhodovat o přidělení dávky, vyhodnocovat lži, pátrat po zločincích, nebo hodnotit přijímačky na vysokou, jen jsou tyto vysoce rizikové systémy pod přísnější regulací.
1) Víte přesně, jaké AI systémy používáte?
2) Víte, jaká data do těchto AI systémů vkládáte?
3) Víte, jaká data byste do těchto AI systému vkládat neměli?
4) Proškolili jste všechny uživatele AI nástroje v otázkách jeho bezpečnosti, spolehlivosti a povinnosti ověřovat správnost výstupu?
5) Pokud dochází ke zpracování osobních údajů, prověřili jste soulad s GDPR?
6) Máte stanovenou odpovědnou osobu za bezpečnost a testování systému?
Pokud si některou otázkou nejste jistí, je nejvyšší čas na vypracování pravidel užívání AI, tzv. AI policy.
AI je v rukou státu testem důvěry. Pokud budou algoritmy fungovat jako chirurg – přesně a pod přísným dohledem, mohou veřejnému sektoru pomoct stát se nejbezpečnějším digitálním hřištěm v Evropě. Pokud stát nechá algoritmy bez kontroly a regulací, budou se občané pohybovat stále jen na minovém poli. 💣
Nevíte, jak AI zařadit do fungování státní správy? Zavedeme u vás bezpečné používání AI, nastavíme řízení rizik, dokumentaci i lidský dohled tak, aby schvalování žádostí, řízení krizových situací i každodenní agenda probíhaly hladce i v souladu s právem. 🦾