Poradenství v AI pro veřejnou správu

Umělá inteligence (Artificial Intelligence, AI) je oblast informatiky zaměřená na vývoj systémů schopných vykonávat úkoly, které obvykle vyžadují lidskou inteligenci. Patří mezi ně učení, rozhodování, rozpoznávání vzorů, zpracování přirozeného jazyka a řešení problémů. AI umožňuje strojům analyzovat data, přizpůsobovat se novým situacím a autonomně řešit složité úkoly bez přímého lidského zásahu.

Na veřejnou správu jsou kladeny rostoucí nároky na efektivitu, transparentnost a dodržování přísných právních předpisů. Nástroje umělé inteligence představují jednu z cest, jak zvýšit efektivitu i komfort zaměstnanců přenesením rutinních a administrativních činností, usnadněním zpracování a vyhodnocování velkých objemů dat a poskytováním relevantních podkladů pro rozhodování v odborných agendách.

AI Act: Právní rámec pro umělou inteligenci

Dne 1. srpna 2024 vstoupilo v platnost nařízení Evropské unie – Akt o umělé inteligenci (AI Act), který stanovuje pravidla pro vývoj, uvádění na trh a používání AI systémů v EU. AI Act zavádí klasifikaci systémů podle úrovně rizika a určuje povinnosti pro organizace, které AI nasazují. Veřejná správa se musí přizpůsobit přísnějším pravidlům zejména v oblastech zpracování osobních údajů, automatizovaného rozhodování a využívání AI systémů v kritických službách. Součástí legislativy je požadavek na transparentnost, etické využívání AI a zavedení kontrolních mechanismů minimalizujících rizika spojená s AI. Implementace AI Actu představuje nejen výzvu, ale i příležitost pro modernizaci veřejné správy a efektivnější poskytování služeb občanům.

V oblasti ochrany implementace a využívání umělé inteligence (AI) vám poskytneme následující služby:

Diagnostika a analýza procesů

• Komplexní audit: Spolu s klíčovými zástupci vaší organizace definujeme aktuální stav a potřeby, provedeme detailní analýzu stávajících procesů a identifikujeme potenciální oblasti, kde může AI zvýšit efektivitu a přinést úsporu zdrojů.
• Hodnocení rizik: Zaměříme se na identifikaci klíčových rizik spojených se zpracováním osobních údajů a neautorizovaným využitím AI

Návrh strategie a roadmapy implementace

• Strategický plán: Na základě získaných dat vypracujeme strategii zavedení AI, která zahrnuje konkrétní doporučení pro bezpečné a efektivní využití technologií s ohledem na legislativní požadavky.
• Ochrana osobních údajů: AI systémy často pracují s citlivými daty. Naše poradenství zahrnuje doporučení pro anonymizaci a pseudonymizaci dat, stejně jako pravidelné audity pro zajištění bezpečnosti.
• Etické aspekty: Zohledňujeme požadavky na transparentnost, zamezení automatizovaného rozhodování bez přezkoumání a nastavení interních kontrolních mechanismů.
• Legislativní konzultace: Pomůžeme vám zajistit, aby vaše AI systémy odpovídaly požadavkům GDPR a novému AI Actu, včetně klasifikace rizik.

Implementace a podpora

• Pilotní projekty: Společně otestujeme vybraná řešení v pilotních projektech a vyhodnotíme jejich přínos v praxi.
• Podpora při zavádění: Poskytujeme asistenci při implementaci a integraci AI technologií do vašeho ekosystému ICT a interních procesů.
• Interní pravidla: Pomůžeme vám nastavit interní pravidla pro využívání AI nástrojů a minimalizaci rizik spojených s neautorizovaným používáním.

Školení a AI gramotnost

• Pravidelné školení: Naše školení jsou navržena tak, aby zaměstnanci veřejné správy získali potřebnou AI gramotnost, včetně pochopení principů bezpečného zpracování dat a legislativních požadavků.

Kontaktujte nás: Eva Lipovská, Tel: 724 101 222

Přehled novinek, zajímavostí a zkušeností z oblasti zavádění AI pro veřejnou správu

Akt o umělé inteligenci (AI Act)

Dne 1. srpna 2024 vstoupilo v platnost nařízení Evropské unie – Akt o umělé inteligenci (AI Act), jehož cílem je sjednotit pravidla pro vývoj, uvádění na trh a používání systémů umělé inteligence v Evropské unii. Organizace a firmy mají nyní dvouleté přechodné období, během něhož se mohou připravit na plnou implementaci nových pravidel definovaných tímto nařízením. V České republice má problematiku AI Actu na starost Ministerstvo práce a sociálních věcí.

AI Act zavádí klasifikaci systémů umělé inteligence podle míry rizika:

a) Systémy AI s nepřijatelným rizikem (zakázané AI systémy) – tyto systémy představují hrozbu pro bezpečnost nebo porušují základní práva, a proto je jejich používání zakázáno.

Příklady AI systémů s nepřijatelným rizikem:

• systémy sociálního skórování hodnotící osoby na základě jejich chování nebo osobních charakteristik;
• systémy využívající podprahové techniky bez vědomí uživatele nebo manipulativní, klamavé techniky ovlivňující chování a ohrožující svobodnou vůli;
• systémy s biometrickou identifikací a kategorizací v reálném čase na veřejných místech, jež mohou zneužívat zranitelnost osob z důvodu jejich věku, zdravotního postižení, sociálně-ekonomické situace (s výjimkou případů pro bezpečnostní účely, např. při pátrání po pohřešovaných osobách).

b) Vysoce rizikové systémy AI – tyto systémy jsou povolené, ale podléhají přísným regulačním požadavkům, mezi něž patří:

• zavedení systémů řízení kvality a rizik;
• zajištění transparentnosti a poskytování informací uživatelům;
• registrace v databázi EU;
• spolupráce s příslušnými regulačními orgány;
• pravidelné vzdělávání a školení osob podílejících se na vývoji, implementaci nebo provozu těchto systémů.

Příklady vysoce rizikových AI systémů:

• systémy využívané v kritické infrastruktuře, např. v energetice či dopravě;
• systémy používané v lékařství při diagnostice či léčbě pacientů;
• systémy určené pro nábor, výběr, nebo hodnocení zaměstnanců (HR);
• systémy používané při soudních a správních rozhodovacích procesech;
• systémy ovlivňující přístup ke vzdělávání nebo hodnocení studijních výsledků.

c) Systémy AI s omezeným rizikem – na tyto systémy se vztahují volnější pravidla, nicméně je důrazně doporučeno dodržovat principy transparentnosti a etiky. Pro jejich provoz je nezbytné splnění informačních povinností.

Příklady AI systémů s omezeným rizikem:

• chatboti a virtuální asistenti simulující lidskou konverzaci prostřednictvím textu nebo hlasu;
• systémy generující nebo manipulující s obsahem jako jsou obrázky, texty či videa (např. generativní AI pro umělecké účely);
• doporučovací systémy poskytující personalizovaná doporučení, např. ve službách streamování nebo e-commerce platformách.

d) Systémy AI s minimálním rizikem – jedná se o většinu běžně používaných systémů.

Příklady AI systémů s minimálním rizikem:

• automatické překladače;
• systémy určené k opravě gramatiky;
• e-mailové filtry pro blokaci spamu;
• AI využívaná ve spotřebitelských aplikacích, např. v hudebních a video systémech.

AI Act stanovuje, že organizace a firmy využívající vysoce rizikové AI systémy jsou povinny zajistit pravidelné školení svých zaměstnanců, kteří se podílejí na vývoji, implementaci nebo provozu těchto systémů. Cílem školení je seznámit pracovníky s platnými regulačními požadavky a etickými zásadami souvisejícími s AI.

Nedodržení požadavků AI Actu může vést k významným sankcím, včetně pokut až do výše 7 % ročního celosvětového obratu společnosti nebo 35 mil. EUR (cca 880 mil. Kč), podle toho, která částka je vyšší.

Zakázané praktiky AI podle AI Actu

Evropská komise (EK) zveřejnila 4. února 2025 pokyny k zakázaným postupům v oblasti umělé inteligence stanovené Aktem o umělé inteligenci (AI Actem).

Tyto pokyny EK poskytují přehled postupů v oblasti AI, které jsou považovány za nepřijatelné kvůli potenciálním rizikům pro evropské hodnoty a základní práva. Patří mezi ně zejména:

• Manipulace podprahovými technikami – AI nesmí ovlivňovat uživatele pomocí skrytých signálů, které obcházejí jejich vědomé rozhodování.
• Zneužívání slabin lidí – AI nesmí cíleně ovlivňovat zranitelné skupiny (děti, seniory, osoby s postižením, lidi v tíživé finanční situaci) ve svůj prospěch.
• Sociální skórování – jakýkoliv AI systém hodnotící občany podle jejich chování je v EU zakázán, zejména pokud by měl dopad na jejich přístup ke službám.
• Prediktivní identifikace zločinců – AI nesmí předpovídat, zda někdo spáchá trestní čin, pouze na základě jeho chování na sociálních sítích nebo psychologického profilu.
• Automatický sběr obličejů – není povoleno hromadně shromažďovat a analyzovat fotografie obličejů z internetu či bezpečnostních kamer pro tvorbu databází rozpoznávání tváří.
• Rozpoznávání emocí – AI nesmí analyzovat emoce zaměstnanců na pracovišti nebo studentů ve školách, s výjimkou zdravotních a bezpečnostních účelů.
• Biometrická kategorizace – AI nesmí analyzovat biometrické údaje za účelem kategorizace osob podle rasy, politických názorů, náboženství nebo sexuální orientace.
• Real-time sledování – policie nemůže využívat AI systémy pro biometrickou identifikaci v reálném čase na veřejných místech, s výjimkou pátrání po pohřešovaných osobách, odvrácení teroristické hrozby nebo hledání nebezpečných pachatelů.

Pokyny EK k zakázaným praktikám AI mají zajistit konzistentní, účinné a jednotné uplatňování AI Actu v celé Evropské unii. Poskytují právní vysvětlení a praktické příklady, které zúčastněným stranám pomáhají porozumět a dodržovat požadavky nařízení o umělé inteligenci. Tyto pokyny nejsou právně závazné – jejich závazný výklad je v kompetenci Soudního dvora Evropské unie.

Povinné školení AI gramotnosti zaměstnanců podle AI Actu

AI Act ukládá organizacím a firmám, které poskytují nebo nasazují systémy umělé inteligence, povinnost zajistit, aby jejich zaměstnanci a další osoby pracující s těmito systémy disponovali odpovídající úrovní AI gramotnosti. Tato povinnost nabývá účinnosti 2. února 2025.

Cílem školení je, aby pracovníci vyvíjející nebo využívající systémy umělé inteligence porozuměli principům fungování umělé inteligence, dokázali zodpovědně využívat její potenciál, minimalizovali rizika a zajistili soulad s cíli organizace / firmy a regulačními standardy, včetně ochrany osobních údajů. Obsah školení by měl být přizpůsoben technickým znalostem, zkušenostem, vzdělání a kontextu jednotlivých zaměstnanců.

Doporučujeme všem organizacím a firmám, které využívají (popř. i vyvíjejí) systémy umělé inteligence, aby pro své zaměstnance zajistili školení zaměřené na základní povinnou AI gramotnost.

V případě Vašeho zájmu jsme připraveni pro Vaše zaměstnance realizovat školení AI gramotnosti. Pro více informací nás prosím kontaktujte na equica@equica.cz.

Námi realizované AI školení je zaměřeno na základy AI gramotnosti. V rámci školení klademe důraz na zajištění dostatečné úrovně porozumění principům umělé inteligence a schopnosti bezpečně a efektivně pracovat s AI systémy v souladu s Nařízením AI Act a Nařízením GDPR.

AI a GDPR – stanovisko EDPB k ochraně osobních údajů

Evropský sbor pro ochranu osobních údajů (EDPB) vydal na konci roku 2024 doporučení týkající se souladu umělé inteligence s Nařízením GDPR. Z pohledu ochrany osobních údajů je klíčové pravidelné ověřování a testování anonymity AI modelů.

Anonymita AI modelu určuje, zda se na něj vztahuje regulace GDPR. Pokud AI model není anonymní, jeho vývojáři a provozovatelé musí splnit požadavky Nařízení GDPR, včetně určení právního základu pro zpracování osobních údajů. Jedním z možných právních základů může být oprávněný zájem, který ale musí projít tzv. tříkrokovým testem:

• identifikace oprávněného zájmu – například zlepšení zákaznické podpory;
• posouzení nezbytnosti zpracování – posouzení, zda neexistuje méně invazivní alternativa;
• balanční test – posouzení dopadu na práva subjektů údajů.

EDPB doporučuje nevyužívat data obsahující osobní údaje pro trénování AI modelů. Osobní údaje lze pro trénování AI modelů použít pouze v případě oprávněného zájmu, který však vždy musí projít tříkrokovým testem (viz výše).

Po splnění podmínek využití oprávněného zájmu správce je nutné dodržet minimálně tato základní opatření k minimalizaci rizika úniku osobních údajů a zajištění anonymity AI modelů:

• minimalizace osobních údajů v tréninkových datech na nezbytný rozsah;
• pseudonymizace a anonymizace dat, např. odstraněním identifikátorů;
• využití technik jako differential privacy – přidávání šumu k datům;
• použití výstupních filtrů zabraňujících poskytování osobních údajů AI modelem;
• testování odolnosti vůči útokům na extrakci dat;
• realizace pravidelných auditů a aktualizace dokumentace, včetně posouzení vlivu na ochranu osobních údajů (DPIA).

Subjekty nesmí spoléhat pouze na obecné zásady ochrany osobních údajů. Musí zajistit, aby uživatelé jasně rozuměli způsobu využívání svých dat, a to zejména:

• zda subjekt údajů své údaje zveřejnil sám;
• jakým způsobem byla data získána, např. přímo, prostřednictvím třetí strany nebo web scrapingu;
• jak AI model data zpracovává a jak je přizpůsobuje na základě uživatelských vstupů.

EDPB zdůrazňuje, že každý AI model musí být posuzován individuálně a opatření k ochraně osobních údajů musí být přizpůsobena jeho konkrétnímu kontextu. Hlavní zásady zahrnují:

• minimalizaci rizika úniku osobních údajů již při tréninku AI modelu;
• zajištění právního základu pro zpracování dat;
• transparentní komunikaci s uživateli;
• pravidelné audity a testování AI modelů.

Pokud AI model zpracovává osobní údaje bez právního základu, dochází k porušení Nařízení GDPR, což může vést k zákazu jeho provozu.

Využití AI v pracovním prostředí

Využití umělé inteligence v pracovním prostředí je sice zatím hodnoceno jako vysoce rizikové, ale při dodržení pravidel a podmínek ochrany osobních údajů a soukromí zaměstnanců přináší velké výhody z pohledu ušetření kapacit na vykonání některých agend.

Problém při práci s AI ve vazbě na platné právní předpisy mohou tvořit:

• osobní údaje (včetně fotografií, audio a video záznamů, biometrických údajů a zvláštních kategorií);
• texty, obrázky a audiozáznamy chráněné autorským právem.

Každý poskytovatel AI nástrojů má zveřejněny politiky ochrany osobních údajů, ve kterých transparentně informuje o způsobu zpracování dat, která umělé inteligenci poskytnete. Typicky můžete služby umělé inteligence konzumovat různým způsobem a tomu odpovídá i způsob nakládání s Vašimi daty.

a) Práce s AI prostřednictvím volně dostupného / neplaceného nástroje umělé inteligence (např. CHAT GPT 3.5, Microsoft Copilot atd.):

Poskytovatel služby umělé inteligence potřebuje své modely umělé inteligence učit a vzdělávat, což činí na volně dostupných datech a rovněž na datech, která nástroji poskytnete. Zpravidla se pro umělou inteligenci jedná o ceněnější data než volně dostupná, a proto je uloží a začlení do svých algoritmů.

V tomto případě je striktně zakázáno nástroji umělé inteligence poskytovat jakékoli osobní údaje a rovněž jakékoli autorsky chráněné texty, obrázky aj. V případě jejich poskytnutí dochází k porušení zákona.

• Pokud zaměstnanec vloží osobní údaje do AI nástroje (chatu), nedochází sice k jejich trvalému uložení nebo integrování přímo do modelu AI. Data vložená uživatelem během jedné konverzace jsou používána pouze v rámci této konkrétní relace, nikoliv však k dalšímu učení modelu (nejsou automaticky zahrnuta do tréninkových dat).
• Samotné vložení osobních údajů do AI nástroje (chatu) bez odpovídajícího právního základu je však vnímáno jako porušení GDPR, protože dochází ke sdílení osobních údajů s externím poskytovatelem (např. OpenAI), který je z hlediska GDPR třetí stranou (zpracovatelem osobních údajů).
• Pokud tedy nejsou splněny podmínky jako informování subjektů údajů, souhlas (pokud je vyžadován), nebo neexistuje jiný vhodný právní základ, dochází ke zpracování osobních údajů v rozporu s GDPR.
• Zaměstnanci musí být jasně poučeni, že nesmějí zadávat žádné osobní údaje ani autorský obsah do AI nástrojů. Je vhodné zavést interní pravidla používání AI, která výslovně zakazují zadávání osobních údajů a zaměstnance pravidelně proškolovat.
• Upozorňujeme, že v případě porušení těchto pravidel (pokud existuje riziko pro práva a svobody subjektů údajů) se jedná o incident s ohlašovací povinností vůči ÚOOÚ.

Informace o zpracování a uložení dat včetně jejich využití pro učení je možné nalézt např. na webové stránce Open AI – Zásady ochrany osobních údajů.

b) Práce s AI prostřednictvím licencované (placené) verze nástroje umělé inteligence

V případě licencovaného užití nástrojů AI je současně nezbytné uzavřít zpracovatelskou smlouvu, která garantuje, že data nebudou využita za jiným účelem, nebudou sdílena s třetími stranami a budou uložena na zabezpečených úložištích v rámci EU.

Pokud je využití nástroje podloženo licenční a zpracovatelskou smlouvou, je možné AI nástroje využít rovněž pro zpracování osobních údajů a autorský obsah, protože data jsou chráněna a nejsou využívána pro učení nástroje. Pokud zaměstnanec omylem vloží osobní údaje do chatu, neznamená to automaticky riziko nekontrolovaného šíření nebo používání dat mimo sjednané podmínky.

V tomto případě je rovněž nutné dotčené osoby transparentně informovat o tom, že jejich data jsou zpracována AI nástrojem ve formě zpracovatele (shodně jako jiná služba či subdodavatel).

I s kvalitní smlouvou je důležité omezit vstupy osobních dat na minimum a pravidelně školit zaměstnance, aby věděli, která data do AI nástrojů nepatří.

Nástroj umělé inteligence dále může být součástí jiné služby či nástroje, aniž byste to přímo věděli. V tomto případě rovněž platí, že pro případ licenčně zajištěného nástroje je zpracování možné. Typickými zástupci těchto nástrojů jsou:

• nástroj „Diktovat“ v MS Word a Windows obecně;
• chatboty;
• klasifikace, zpracování, automatizace zákaznických e-mailů;
• bezpečnostní a monitorovací systémy (prevence hrozeb).

Závěrem je nutné zdůraznit, že GDPR striktně zakazuje provádět automatizovaná rozhodnutí založená na zpracování osobních údajů (např. snížení platu pro nízkou výkonnost, propuštění v případě nekalého jednání, opuštění pracoviště, nepovolené využití služebního vozidla atd.). Každá osoba má právo nebýt předmětem automatizovaného rozhodování, tj. výsledky automatizovaného zpracování musejí být přezkoumatelné fyzickým člověkem.

Výhody placené verze AI nástrojů – uzavření zpracovatelské smlouvy

Při využívání AI nástrojů velmi často dochází ke zpracování osobních údajů. V případě využívání licencované (placené) verze AI nástroje se mezi uživatelem a poskytovatelem AI uzavírá zpracovatelská smlouva podle Nařízení GDPR, jelikož poskytovatel AI v tomto kontextu vystupuje jako zpracovatel osobních údajů.

Zpracovatelská smlouva vymezuje práva a povinnosti obou stran – správce i zpracovatele osobních údajů – a stanovuje rámec pro bezpečné a transparentní nakládání s osobními údaji. Díky uzavřené zpracovatelské smlouvě je zajištěno, že veškeré zpracování dat probíhá v souladu s právními předpisy a že jsou přijata odpovídající bezpečnostní opatření k ochraně osobních údajů, tj.:

• data nebudou použita k jinému účelu než k licencované službě (nebudou využita pro další trénink modelů nebo k jiným účelům bez Vašeho výslovného souhlasu),
• nebudou sdílena s třetími stranami a
• budou uložena na zabezpečených úložištích v rámci EU.

Jasně definované podmínky zpracovatelské smlouvy umožňují uživateli lepší přehled a kontrolu nad tím, jakým způsobem jsou data zpracovávána a jaká bezpečnostní opatření jsou implementována.

Ze zákona musí být zpracovatelská smlouva uzavřena písemně (může existovat jen v elektronické podobě) a měla by obsahovat zejména:

• jaké osobní údaje budou zpracovány,
• doba trvání zpracování osobních údajů,
• povahu a účel zpracování osobních údajů,
• způsob předání osobních údajů,
• postupy nakládání s osobními údaji po ukončení spolupráce správce a zpracovatele osobních údajů,
• práva a povinnosti správce a zpracovatele osobních údajů,
• odpovědnost za porušení povinností.

Příklad zpracovatelské smlouvy (Open AI) je dostupný zde: https://openai.com/policies/data-processing-addendum/.

Přehled AI nástrojů, které lze využít bezplatně

V současné době je k dispozici celá řada AI nástrojů, jejichž využití výrazně usnadňuje práci a obohacuje každodenní činnosti. Tyto technologie pronikly do mnoha oblastí – od běžných aplikací, jako jsou Google Mapy či Gmail, až po specializované programy určené pro tvorbu obsahu, překlady nebo kreativní úpravy. Většina AI nástrojů navíc nabízí bezplatné základní verze, které umožňují využít řadu inovativních funkcí bez nutnosti investice do placených variant.

Níže uvádíme přehled vybraných AI nástrojů, které lze v jejich základní verzi využít bezplatně. Přehled je rozdělen do několika kategorií podle hlavního zaměření – od generování textu a obrázků, přes programování, až po jazykové a datové aplikace.

Upozorňujeme, že při využití těchto nástrojů je nezbytné striktně dodržovat všechna pravidla ochrany osobních údajů a autorských práv popsaných výše.

a) Generování textu a konverzační AI – chatboti

• ChatGPT (https://chatgpt.com) – poskytuje rychlou, multifunkční a interaktivní komunikaci, odpovídá na dotazy, analyzuje dokumenty a pomáhá i při tvorbě textového obsahu. Bezplatná verze nabízí široké možnosti, i když některé pokročilé funkce mohou být omezené.
• Claude (https://claude.ai) – nabízí přirozenou a variabilní konverzaci, doplněnou o vizualizační funkce a jednoduché animace, klade důraz na kvalitu a pravdivost poskytovaných informací.
• Perplexity (https://www.perplexity.ai/) – je určen zejména pro vyhledávání na internetu a akademické účely, odpovídá na dotazy a zároveň poskytuje odkazy na zdroje, což je užitečné při psaní článků, seminárních a výzkumných prací.

b) Generování obrázků a grafické aplikace

• Stable Diffusion (stability.ai) – open-source model pro generování obrázků na základě textového popisu, umožňuje precizní kontrolu nad výsledným výstupem. K dispozici jsou různé online implementace a rozhraní, z nichž některé nabízejí bezplatný přístup.
• Adobe Firefly (https://www.adobe.com/products/firefly.html) – AI nástroj od tvůrců Photoshopu nabízející širokou škálu editačních možností. Bezplatná verze zahrnuje 25 kreditů s měsíční obnovou.

c) Kreativní nástroje a kancelářské aplikace

• Canva (https://www.canva.com/cs_cz/) – multifunkční platforma pro tvorbu prezentací, GIFů či promo materiálů, která obsahuje integrovaný generátor obrázků a další AI nástroje.

d) Nástroje pro psaní a překlady

• GPTZero (https://gptzero.me)– nástroj určený k detekci textů generovaných AI, který pomáhá předcházet plagiátorství. Bezplatná verze umožňuje analyzovat až 10 tisíc slov měsíčně.
• Google Translate (https://translate.google.com) – překladač podporující širokou škálu jazyků, včetně funkce živého překladu prostřednictvím fotoaparátu v mobilní aplikaci.
• DeepL (https://www.deepl.com) – překladač zaměřený na kvalitní a kontextově přesné překlady, využívá pokročilé strojové učení a AI pro detailnější jazykovou analýzu.
• Quillbot (https://quillbot.com) – nástroj kombinující funkce překladu, kontroly plagiátorství a dalších jazykových nástrojů.
• Jazykový model Evropské komise (https://language-tools.ec.europa.eu/etranslation) – moderní jazyková technologie určená k podpoře komunikace mezi oficiálními jazyky EU, umožňuje strojový překlad textů a dokumentů, rozpoznání a syntézu řeči, automatické shrnutí dlouhých textů generování zpráv a odpovědí na základě zadaných informací. Jedná se o bezplatný AI nástroj určený pro zaměstnance veřejné správy, akademické instituce, malé nebo střední firmy a nevládní organizace.

Rizika vyskytující se při využití AI

Ačkoli umělá inteligence přináší mnoho výhod, její využívání je spojeno s určitými riziky. Mezi nejvýznamnější rizika patří:

a) Narušení soukromí

• Velká náročnost na data – AI algoritmy obvykle vyžadují pro svůj trénink a kontinuální zlepšování rozsáhlé množství dat, což zvyšuje riziko, že se mezi těmito daty objeví citlivé či osobní údaje.
• Ochrana a anonymizace– pokud nejsou data dostatečně zabezpečena a správně anonymizována, hrozí jejich zneužití nebo únik, což představuje zásadní hrozbu pro ochranu soukromí jednotlivců.

b) Nedostatek transparentnosti

• Komplexnost algoritmů – mnoho AI systémů využívá složité modely, jejichž vnitřní fungování je obtížně pochopitelné, což ztěžuje dohledatelnost rozhodovacích procesů.
• Vysvětlitelnost rozhodnutí– nedostatečná transparentnost může způsobit komplikace či problémy s důvěryhodností AI systému, zejména pokud je třeba výsledky auditovat nebo obhájit před uživateli.

c) Diskriminace a zkreslení

• Zaujatost dat – AI algoritmy se učí z existujících dat, která mohou obsahovat předpojatosti nebo chyby.
• Reprodukce nespravedlnosti– pokud nejsou data důkladně analyzována a očištěna, může AI systém nejen tyto chyby přenášet, ale dokonce i zesilovat, což vede k nespravedlivým nebo diskriminačním výsledkům (např. při přijímacích řízeních, posuzování úvěruschopnosti apod.).

d) Nesprávné výsledky

• Neúplná či nepřesná data – kvalita AI výstupů závisí na kvalitě tréninkových dat. Pokud jsou data chybná nebo neúplná, mohou vznikat zavádějící nebo nesprávné výsledky.
• Riziko dezinformací– uživatelé, kteří AI slepě důvěřují, mohou považovat chybné výstupy za fakta, což může mít vážné důsledky, zejména v rozhodovacích procesech.

e) Halucinace AI

• Chybná generace obsahu – AI může vytvářet výstupy, které nejsou založeny na reálných datech či logice, ale přesto jsou prezentovány jako pravdivé.
• Důsledky „halucinací“ – nesprávné informace mohou vést k chybným závěrům a nepochopení kontextu, a mohou negativně ovlivnit rozhodovací procesy v různých odborných oblastech.

Stínování AI – používání AI nástrojů bez vědomí či souhlasu nadřízených

V současnosti do pracovního prostředí stále častěji pronikají neautorizované nástroje umělé inteligence. Podle nedávného průzkumu společnosti Software AG polovina zaměstnanců kancelářských a IT pozic využívá AI nástroje bez vědomí či souhlasu svých nadřízených. Důvodem je často nedostatek vhodných firemních řešení v oblasti AI nebo snaha daného zaměstnance o zvýšení pracovní efektivity. Někteří zaměstnanci dávají přednost AI nástrojům, které jim lépe vyhovují, než těm, které poskytuje jejich zaměstnavatel.

Tento trend neautorizovaného používání AI, označovaný jako „stínování AI“, přináší nejen zvýšení pracovní efektivity, ale také riziko úniku citlivých firemních informací. Data zadaná do těchto nástrojů mohou být totiž využita k dalšímu tréninku modelů.

Moderní AI systémy při trénování využívají obrovské množství dat – přibližně 30 % aplikací využívá informace zadané uživateli. To znamená, že interní firemní informace či obchodní tajemství mohou být neúmyslně předány třetím osobám.

Z důvodu omezení rizika stínování AI se doporučuje udržet kontrolu nad technologiemi v organizaci a provádět pravidelný monitoring a kontrolu používání AI nástrojů za účelem příp. odhalení používání neautorizovaných AI nástrojů.