Umělá inteligence (AI) výrazně rozšiřuje možnosti moderního vojenství: od logistiky, přes autonomní systémy, až po kybernetické útoky a dezinformační kampaně. Autonomní prostředky už dnes pomáhají s terénním průzkumem, rozpoznáváním hrozeb nebo zásobováním. Technologie se vyvíjejí rychleji než zákony, obzvlášť v oblasti obranného průmyslu. Právě tady totiž může jít o život.
V tuto chvíli ale neexistuje jednotná globální úprava AI v obraně. Proto se tento článek zaměřuje na to, co aktuálně říká právo: jak to má (nebo nemá) ošetřeno Evropská unie, jak se k tomu staví mezinárodní právo a co dělají Spojené státy. Etické otázky necháme stranou. Zajímá nás čistě to, kdo nese odpovědnost a co platí pro vývojáře, firmy a státní správu. I když je problematika poměrně složitá, chceme vám tady předat srozumitelný přehled pro prvotní porozumění tématu.👇
Máte konkrétní dotaz, nebo potřebujete jít víc do hloubky? Není problém, domluvte si s námi schůzku.
Když se řekne „AI regulace v EU“, většina si vybaví nové nařízení AI Act. Ale pozor, ten se na vojenské technologie téměř nevztahuje. V AI Actu je výslovně uvedeno, že systémy určené výhradně pro vojenské nebo národní bezpečnostní účely z působnosti zákona vypadávají.
Konkrétně článek 2 § 3 AI Act vyjímá ze své působnosti „systémy AI, které jsou určeny výhradně pro vojenské, obranné nebo národní bezpečnostní účely, bez ohledu na typ subjektu, který tyto činnosti vykonává“.
💡 Klíč k výkladu této výjimky spočívá právě v termínu „výhradně“. Pro firmy to v praxi znamená, že vývoj AI pro armádu se sice vymyká hlavnímu rámci AI Actu, ale jen pokud jde skutečně o čistě obranné využití. Jakmile se systém použije i v civilní sféře (např. při humanitární pomoci), může spadnout pod běžnou regulaci a s tím přichází i povinnosti jako hodnocení rizik nebo transparentnost algoritmů.
Kromě AI Actu však Evropský parlament přijímá i nezávazné rezoluce. V těch zastává spíše zdrženlivý postoj, ale zároveň razí princip tzv. významné lidské kontroly, a to jako minimální standard pro autonomní zbraně.
Lethal Autonomous Weapon Systems (LAWS) jsou smrtící autonomní zbraňové systémy, které dokážou bez lidského zásahu samy vybrat a zničit cíl. Jde o technologii, která v sobě spojuje AI a schopnost smrtícího zásahu. Právní i etické debaty se soustředí na to, zda by měl mít člověk vždy poslední slovo při rozhodnutí o použití síly – tomu se říká meaningful human control.
Zákaz smrtících autonomních systémů sice zatím nepřišel, ale debata se vede dál, třeba na půdě OSN pod hlavičkou Úmluvy o některých konvenčních zbraních (Convention on Certain Conventional Weapons, CCW).
Ztrácíte se v evropských regulacích? Pomůžeme vám lépe se zorientovat v AI Actu s ohledem na váš byznys. Napište nám.
Mezinárodní humanitární právo (IHL) mluví jasně: za vojenské akce odpovídá stát. IHL definuje také individuální trestní odpovědnost a ukládá povinnosti lidem – vojákům a velitelům, kteří používají zbraně a rozhodují o útocích. Právní odpovědnost za dodržování těchto pravidel nelze přenést na stroj, algoritmus ani autonomní systém. A pokud takový zásah poruší pravidla mezinárodního humanitárního práva, může jít i o válečný zločin.
Právo přitom klade důraz na tři zásady:
☝️ Ti, kdo plánují, rozhodují a provádějí útok pomocí autonomního zbraňového systému, musí zajistit, že tento zbraňový systém a způsob jeho použití zachovávají jejich schopnost činit potřebná právní rozhodnutí a tím zajistit soulad s mezinárodním humanitárním právem. Pokud AI systém funguje tak, že znemožňuje operátorovi tato pravidla reálně vyhodnotit a aplikovat, pak jeho nasazení samo o sobě může být protiprávní.
A co víc – státy jsou povinny dělat právní přezkum nových zbraní (dle čl. 36 Dodatkového protokolu I k Ženevským úmluvám). Možnost provést takový přezkum předpokládá plné pochopení schopností zbraně a předvídání jejích účinků, zejména prostřednictvím ověřování a testování.
Otázkou však zůstává, jaká omezení autonomie ve zbraňových systémech jsou nezbytná pro zajištění souladu s mezinárodním humanitárním právem. Mezi smluvními státy Úmluvy o některých konvenčních zbraních (CCW) panuje obecná shoda, že nad zbraňovými systémy a použitím síly musí být zachována významná lidská kontrola, nebo „odpovídající úroveň lidského úsudku“.
💡 Shrnutí předsedy setkání odborníků v rámci CCW z dubna 2016 uvádí následující: Názory na vhodnou míru lidské účasti v souvislosti se smrtící silou a otázkou delegace jejího použití jsou zásadní pro další posuzování LAWS (smrtících autonomních zbraňových systémů).
Americké ministerstvo obrany (DoD) se k autonomním zbraním staví aktivně. Vývoj a nasazení smrtících autonomních zbraní přímo nezakazuje, ale stanovuje jasná pravidla. Klíčový dokument je Direktiva ministerstva obrany 3000.09 naposledy aktualizovaná v roce 2023.
Autonomní a poloautonomní zbraňové systémy musí být navrženy tak, aby umožňovaly velitelům a operátorům uplatňovat odpovídající lidský úsudek při použití síly.
Každý systém musí projít důkladným ověřením hardwaru a softwaru, stejně jako realistickým testováním v podmínkách, které odpovídají skutečnému nasazení. Kromě toho se stanoví taktiky, výcvik a operační postupy, které zajistí, že:
Systémy musí být odolné vůči neoprávněnému zásahu a kybernetickým hrozbám. To zahrnuje:
Pro zajištění správného rozhodování musí být rozhraní:
Vyvíjíte AI pro armádu nebo bezpečnostní sektor? 🪖 Pomůžeme vám nastavit právní rámec, odpovědnosti a dokumentaci tak, abyste byli připraveni na kontrolu i mezinárodní spolupráci.
Návrh, vývoj, nasazení a používání AI schopností v autonomních a poloautonomních zbraňových systémech se řídí také Etickými principy Ministerstva obrany USA (DoD AI Ethical Principles) a strategií odpovědného využití AI. Principy jsou následující:
A aby to nebylo málo, každý nově vyvíjený autonomní systém musí získat schválení od tří nejvyšších úředníků Pentagonu ještě před vývojem a znovu před nasazením.
Pokud pracujete na technologiích pro autonomní drony nebo jiné systémy v obraně, ať už jako dodavatel, vývojář nebo konzultant, je dobré myslet na těchto pár klíčových věcí:
Máte AI systém, který by mohl být dual-use? Nebo vyvíjíte technologie pro armádu a chcete mít jistotu, že jste krytí i právně? Probereme to, aby se z pokroku nestal problém.
AI v obranných systémech přináší obrovský potenciál, ale i zásadní právní rizika. V EU se regulace drží stranou, ale stále platí mezinárodní pravidla. USA jdou zase cestou přísné kontroly, testování a etických principů.
✅ Pochopit, kdy se na AI systém vztahuje evropská regulace.
✅ Vyhodnotit právní odpovědnost ještě před nasazením, včetně té osobní.
✅ Neopomenout přezkoumání, dokumentaci a auditovatelnost systému.
✅ Vědět, co bude s AI, když se přepne z vojenské na civilní pomoc.