Registrace

Zpráva

Průvodce pro tvůrce politik: Hodnocení rychle se rozvíjejících technologií včetně umělé inteligence, velkých jazykových modelů a dalších

V tomto dokumentu ISC zkoumá náčrt rámce pro informování tvůrců politik o četných globálních a národních diskusích týkajících se AI.

Příručka ISC nabízí komplexní rámec navržený tak, aby překlenul propast mezi principy na vysoké úrovni a praktickou a žalovatelnou politikou. Reaguje na naléhavou potřebu společného porozumění příležitostem i rizikům, která vznikající technologie představují. Toto je zásadní dokument pro ty, kteří pracují na propojení politik v naší rychle se měnící digitální éře.

Rámec zkoumá potenciál umělé inteligence a jejích derivátů prostřednictvím komplexního objektivu, který zahrnuje blaho člověka a společnosti spolu s vnějšími faktory, jako je ekonomika, politika, životní prostředí a bezpečnost. Některé aspekty kontrolního seznamu mohou být v závislosti na kontextu relevantnější než jiné, ale lepší rozhodnutí se zdají pravděpodobnější, pokud se zváží všechny oblasti, i když některé lze v konkrétních případech rychle identifikovat jako irelevantní. To je základní hodnota přístupu kontrolního seznamu.

„V éře poznamenané rychlými technologickými inovacemi a komplexními globálními výzvami umožňuje rámec ISC pro komplexní a vícerozměrnou analýzu potenciálních dopadů vedoucím pracovníkům činit informovaná a odpovědná rozhodnutí. Zajišťuje, že jak technologicky postupujeme, děláme tak s pečlivým zvážením etických, sociálních a ekonomických důsledků.

Peter Gluckman, prezident ISC

Zatímco zásady na vysoké úrovni byly vyhlášeny mimo jiné UNESCO, OECD, Evropskou komisí a OSN a pokračují různé diskuse o otázkách potenciálního řízení, regulace, etiky a bezpečnosti, existuje velká propast mezi těmito zásadami a řízení nebo regulační rámec. ISC řeší tuto potřebu prostřednictvím svého nového průvodce pro tvůrce politik.

Účelem této příručky pro tvůrce politik není zakázat regulační režim, ale spíše navrhnout adaptivní a vyvíjející se analytický rámec, který by mohl podpořit jakékoli procesy hodnocení a regulace, které by mohly být vyvinuty zúčastněnými stranami, včetně vlád a multilaterálního systému.

„Rámec je kritickým krokem v globální konverzaci o AI, protože poskytuje základ, ze kterého můžeme budovat konsensus o důsledcích této technologie pro současnost i budoucnost. 

Hema Sridhar, bývalý hlavní vědecký poradce, Ministerstvo obrany, Nový Zéland a nyní Senior Research Fellow, University of Auckland, Nový Zéland.

Od října 2023 se uskutečnilo několik významných národních a mnohostranných iniciativ s dalším zohledněním etiky a bezpečnosti AI. Důsledky umělé inteligence na integritu některých našich kritických systémů, včetně finančních, vládních, právních a vzdělávacích, jakož i různých znalostních systémů (včetně vědeckých a domorodých znalostí), vzbuzují stále větší obavy. Rámec dále odráží tyto aspekty.

Dosavadní zpětná vazba od členů ISC a mezinárodní komunity tvůrců politik se odráží v revidované verzi analytického rámce, který je nyní vydáván jako průvodce pro tvůrce politik.

Průvodce pro tvůrce politik: Hodnocení rychle se rozvíjejících technologií včetně umělé inteligence, velkých jazykových modelů a dalších

Tento diskusní dokument poskytuje nástin počátečního rámce pro informování mnoha globálních a národních diskusí týkajících se umělé inteligence.

Rámec pro použití ve vaší organizaci

Stáhněte si rámec pro použití ve vaší organizaci

Zde poskytujeme rámcový nástroj jako upravitelný list aplikace Excel pro použití ve vaší organizaci. Pokud dáváte přednost formátu s otevřeným zdrojovým kódem, kontaktujte nás [chráněno e-mailem].

Úvod

Rychle se objevující technologie představují náročné problémy, pokud jde o jejich použití, správu a potenciální regulaci. Probíhající politické a veřejné debaty o umělé inteligenci (AI) a jejím využití přivedly tyto problémy do akutního zájmu. UNESCO, OECD, OSN a další oznámily široké principy pro AI, včetně Bletchleyské deklarace Spojeného království, a objevují se i jurisdikční pokusy o regulaci aspektů technologie, například prostřednictvím AI Evropské unie (EU). zákon nebo nedávný výkonný příkaz Spojených států pro umělou inteligenci.

Zatímco o použití umělé inteligence se na těchto a dalších fórech dlouze diskutuje, napříč geopolitickými rozdíly a v zemích na všech úrovních příjmů, zůstává ontologická propast mezi rozvojem principů na vysoké úrovni a jejich začleněním do praxe buď prostřednictvím regulace, politiky, řízení. nebo správcovské přístupy. Cesta od principu k praxi je špatně definována, ale vzhledem k povaze a kadenci vývoje a aplikací umělé inteligence, rozmanitosti zájmu a rozsahu možných aplikací nemůže být žádný přístup příliš obecný nebo normativní.

Z těchto důvodů nadále hraje zvláštní roli nevládní vědecká komunita. Mezinárodní vědecká rada (ISC) – s pluralitním členstvím v sociálních a přírodních vědách – vydala v říjnu 2023 diskusní dokument, který představuje předběžný analytický rámec, který zvažuje rizika, přínosy, hrozby a příležitosti spojené s rychle se vyvíjející digitální technologií. I když byl vyvinut s ohledem na AI, je neodmyslitelně technologicky agnostický a lze jej aplikovat na řadu vznikajících a převratných technologií, jako je syntetická biologie a kvantová. Tento diskusní dokument vyvolal zpětnou vazbu od akademiků a tvůrců politik. Převážná zpětná vazba způsobila, že provedení takové analýzy bylo nezbytné a představovalo cenný přístup k řešení vznikajících technologií, jako je umělá inteligence.

Účelem tohoto rámce je poskytnout nástroj pro informování všech zúčastněných stran – včetně vlád, obchodních vyjednavačů, regulačních orgánů, občanské společnosti a průmyslu – o vývoji těchto technologií, aby jim pomohl určit, jak by mohli zvážit důsledky, ať už pozitivní nebo negativní, samotnou technologii a konkrétněji její konkrétní aplikaci. Tento analytický rámec byl vyvinut nezávisle na vládních a průmyslových zájmech. Je maximálně pluralitní ve svých perspektivách, zahrnuje všechny aspekty technologie a její důsledky na základě rozsáhlých konzultací a zpětné vazby.

Účelem tohoto diskusního dokumentu pro tvůrce politik není zakázat regulační režim, ale spíše navrhnout adaptivní a vyvíjející se analytický rámec, který by mohl podpořit jakékoli procesy hodnocení a regulace, které by mohly být vyvinuty zúčastněnými stranami, včetně vlád a multilaterálního systému.

Vzhledem k tomu, že subjekty s rozhodovací pravomocí na celém světě i na národní úrovni zvažují vhodná nastavení politik a páky pro vyvážení rizik a přínosů nové technologie, jako je umělá inteligence, je analytický rámec zamýšlen jako doplňkový nástroj, který zajistí, že bude náležitě zohledněna celá řada potenciálních důsledků.

Pozadí: proč analytický rámec?

Rychlý nástup technologií se složitostí a důsledky umělé inteligence vede k mnoha tvrzením o velkém přínosu. Vyvolává však také obavy z významných rizik, od individuální až po geostrategickou úroveň.1 Velká část dosavadních diskusí byla uvažována v binárním smyslu, protože veřejně vyjádřené názory se obvykle odehrávají na extrémních koncích spektra. Nároky vznesené ve prospěch nebo proti AI jsou často hyperbolické a – vzhledem k povaze technologie – obtížně posouditelné.

Tam, kde je hyperbola nahrazena kalibrovanými a podrobnějšími hodnoceními, je nutný pragmatičtější přístup. Technologie AI se bude nadále vyvíjet a historie ukazuje, že prakticky každá technologie má jak prospěšné, tak škodlivé využití. Otázka tedy zní: jak můžeme dosáhnout prospěšných výsledků této technologie a zároveň snížit riziko škodlivých důsledků, z nichž některé by mohly být existenčního rozsahu?

Budoucnost je vždy nejistá, ale existuje dostatek důvěryhodných a odborných hlasů týkajících se umělé inteligence a generativní umělé inteligence, které podporují relativně preventivní přístup. Kromě toho je nezbytný systémový přístup, protože umělá inteligence je třída technologií s širokým využitím a uplatněním u různých typů uživatelů. To znamená, že při zvažování důsledků jakéhokoli použití AI pro jednotlivce, společenský život, občanský život, společenský život a v globálním kontextu je třeba vzít v úvahu celý kontext.

Na rozdíl od většiny ostatních technologií je u digitálních a příbuzných technologií doba mezi vývojem, vydáním a aplikací extrémně krátká, což je do značné míry dáno zájmy produkčních společností nebo agentur. Už ze své podstaty – a vzhledem k tomu, že je založena na digitální páteři – bude mít umělá inteligence aplikace, které jsou rychle všudypřítomné, jak již bylo vidět při vývoji velkých jazykových modelů. V důsledku toho se některé vlastnosti mohou projevit až po uvolnění, což znamená, že existuje riziko nepředvídaných důsledků, jak zlovolných, tak benevolentních.

Významné dimenze společenských hodnot, zejména v různých regionech a kulturách, ovlivní, jak je jakékoli použití vnímáno a přijímáno. Kromě toho již diskusi dominují geostrategické zájmy, přičemž suverénní a multilaterální zájmy se neustále prolínají, a tak podněcují konkurenci a rozdělení.

K dnešnímu dni byla velká část regulace virtuální technologie z velké části vnímána optikou „zásad“ a dobrovolného souladu, i když se zákonem EU o umělé inteligenci2 a podobně vidíme posun k vymahatelnějším, ale poněkud užším předpisům. Zavedení účinného globálního nebo národního technologického řízení a/nebo regulačního systému zůstává náročné a neexistuje žádné zřejmé řešení. V celém řetězci bude zapotřebí více vrstev rozhodování založeného na rizicích, od vynálezce přes výrobce, uživatele, vládu a multilaterální systém.

Zatímco zásady na vysoké úrovni byly vyhlášeny mimo jiné UNESCO, OECD, Evropskou komisí a OSN a pokračují různé diskuse na vysoké úrovni o otázkách potenciálního řízení, regulace, etiky a bezpečnosti, existuje mezi nimi velká propast. zásady a rámec řízení nebo regulace. To je potřeba řešit.

Jako výchozí bod ISC zvažuje vytvoření taxonomie úvah, na které by se mohl odkazovat každý vývojář, regulátor, politický poradce, spotřebitel nebo osoba s rozhodovací pravomocí. Vzhledem k širokým důsledkům těchto technologií musí taková taxonomie uvažovat spíše o souhrnu důsledků než o úzce zaměřeném rámování. Globální fragmentace se zvyšuje v důsledku vlivu geostrategických zájmů na rozhodování a vzhledem k naléhavosti této technologie je nezbytné, aby nezávislé a neutrální hlasy vytrvale prosazovaly jednotný a inkluzivní přístup.


1) Hindustan Times. 2023. G20 musí ustavit mezinárodní panel pro technologické změny.
https://www.hindustantimes.com/opinion/g20-must-set-up-an-international-panel-on-technological-change-101679237287848.html
2) Zákon EU o umělé inteligenci. 2023. https://artificialintelligenceact.eu

Vývoj analytického rámce

ISC je primární globální nevládní organizací integrující přírodní a společenské vědy. Jeho globální a disciplinární dosah znamená, že má dobrou pozici pro vytváření nezávislých a globálně relevantních rad, které informují o složitých rozhodnutích, která jsou před námi, zejména proto, že současné hlasy v této aréně jsou převážně z průmyslu nebo z politických a politických komunit hlavních technologických velmocí.

Po období rozsáhlé diskuse, která zahrnovala zvážení nevládního procesu hodnocení, ISC dospěl k závěru, že jeho nejužitečnějším přínosem by bylo vytvoření adaptivního analytického rámce, který by mohl být použit jako základ pro diskurz a rozhodování všemi zúčastněných stran, a to i během jakýchkoli formálních procesů hodnocení, které se objeví.

Předběžný analytický rámec, který byl uvolněn k diskusi a zpětné vazbě v říjnu 2023, měl podobu zastřešujícího kontrolního seznamu určeného pro vládní i nevládní instituce. Rámec identifikoval a prozkoumal potenciál technologie, jako je umělá inteligence a její deriváty, prostřednictvím široké optiky, která zahrnuje blaho člověka a společnosti i vnější faktory, jako je ekonomika, politika, životní prostředí a bezpečnost. Některé aspekty kontrolního seznamu mohou být v závislosti na kontextu relevantnější než jiné, ale lepší rozhodnutí se zdají pravděpodobnější, pokud se zváží všechny oblasti, i když některé lze v konkrétních případech rychle identifikovat jako irelevantní. To je základní hodnota přístupu kontrolního seznamu.

Předběžný rámec byl odvozen z předchozí práce a úvah, včetně zprávy Mezinárodní sítě pro vládní vědecké poradenství (INGSA) o digitálním blahobytu3 a rámce OECD pro klasifikaci systémů umělé inteligence4, aby představil souhrn potenciálních příležitostí, rizik a dopadů. AI. Tyto předchozí produkty byly svým záměrem omezenější vzhledem k jejich době a kontextu; existuje potřeba zastřešujícího rámce, který představuje celou škálu problémů v krátkodobém i dlouhodobém horizontu.

Od svého vydání získal diskusní dokument významnou podporu mnoha odborníků a tvůrců politik. Mnozí specificky podpořili doporučení vyvinout adaptivní rámec, který umožňuje záměrné a proaktivní zvažování rizik a důsledků technologie, a přitom vždy zohledňuje všechny dimenze od jednotlivce po společnost a systémy.

Jedním z klíčových postřehů učiněných prostřednictvím zpětné vazby bylo uznání, že několik důsledků zvažovaných v rámci je ze své podstaty mnohostranné a zasahuje do více kategorií. Například dezinformace by mohla být zvažována jak z individuální, tak z geostrategické optiky; takže důsledky by byly široké.

Byla také navržena možnost zahrnout případové studie nebo příklady k testování rámce. To by mohlo být použito k vytvoření pokynů, které demonstrují, jak by to mohlo být použito v praxi v různých kontextech. Jednalo by se však o významný závazek a může omezit to, jak různé skupiny vnímají používání tohoto rámce. Nejlépe to dělají tvůrci politik ve spolupráci s odborníky v konkrétních jurisdikcích nebo kontextech.

Od října 2023 se uskutečnilo několik významných národních a mnohostranných iniciativ s dalším zohledněním etiky a bezpečnosti AI. Důsledky umělé inteligence na integritu některých našich kritických systémů, včetně finančních, vládních, právních a vzdělávacích, jakož i různých znalostních systémů (včetně vědeckých a domorodých znalostí), vzbuzují stále větší obavy. Revidovaný rámec tyto aspekty dále odráží.

Dosud obdržená zpětná vazba se odráží v revidované verzi analytického rámce, která je nyní vydána jako průvodce pro tvůrce politik.

Zatímco rámec je prezentován v kontextu umělé inteligence a souvisejících technologií, lze jej okamžitě přenést do úvah o dalších rychle se objevujících technologiích, jako je kvantová a syntetická biologie.


3) Gluckman, P. a Allen, K. 2018. Pochopení blahobytu v kontextu rychlých digitálních a souvisejících transformací. INGSA.
https://ingsa.org/wp-content/uploads/2023/01/INGSA-Digital-Wellbeing-Sept18.pdf
4) OECD. 2022. Rámec OECD pro klasifikaci systémů umělé inteligence. Dokumenty OECD o digitální ekonomice, č. 323,#. Paris, vydavatelství OECD.
https://oecd.ai/en/classificatio

Rámec

Následující tabulka představuje rozměry domnělého analytického rámce. Příklady jsou uvedeny pro ilustraci toho, proč může na každé doméně záležet; v kontextu by rámec vyžadoval kontextově relevantní rozšíření. Je také důležité rozlišovat mezi obecnými problémy, které se objevují během vývoje platformy, a těmi, které se mohou objevit během specifických aplikací. Žádná jednotlivá úvaha zde zahrnutá by neměla být považována za prioritu a jako taková by měla být přezkoumána všechna.

Problémy jsou obecně seskupeny do následujících kategorií, jak je uvedeno níže:

  • Blahobyt (včetně blahobytu jednotlivců nebo sebe sama, společnosti, společenského života a občanského života)
  • Obchod a ekonomika
  • ekologický
  • Geostrategické a geopolitické
  • Technologické (vlastnosti systému, design a použití)

Tabulka podrobně uvádí rozměry, které může být nutné vzít v úvahu při hodnocení nové technologie.

🔴 INGSA. 2018. Pochopení blahobytu v kontextu rychlých digitálních a souvisejících transformací.
https://ingsa.org/wp-content/uploads/2023/01/INGSA-Digital-Wellbeing-Sept18.pdf

🟢 Nové deskriptory (získané prostřednictvím rozsáhlých konzultací a zpětné vazby a přehledu literatury)

🟡 Rámec OECD pro klasifikaci systémů AI: nástroj pro efektivní politiku AI.
https://oecd.ai/en/classification

Rozměry dopadu: Individuální / vlastní

KritériaPříklady toho, jak se to může projevit v analýze
🟡 Kompetence AI uživatelůJak kompetentní a vědomi si vlastností systému jsou pravděpodobní uživatelé, kteří budou se systémem pracovat? Jak jim budou poskytnuty příslušné uživatelské informace a upozornění?
🡡 Dotčená zúčastněná stranaKdo jsou hlavní zainteresované strany, které bude systém ovlivňovat (jednotlivci, komunity, zranitelní, sektoroví pracovníci, děti, tvůrci politik, odborníci atd.)?
🟡 VolitelnostMají uživatelé možnost odhlásit se ze systému nebo mají příležitost zpochybnit nebo opravit výstup?
🡚 Rizika pro lidská práva a demokratické hodnotyOvlivňuje systém zásadně lidská práva, včetně, ale nejen, soukromí, svobody projevu, spravedlnosti, nediskriminace atd.?
🟡Potenciální účinky na pohodu lidíVztahují se oblasti dopadu systému na pohodu jednotlivých uživatelů (kvalita práce, vzdělání, sociální interakce, duševní zdraví, identita, prostředí atd.)?
🟡 Potenciál pro přesun lidské práceExistuje potenciál, aby systém automatizoval úkoly nebo funkce, které byly prováděny lidmi? Pokud ano, jaké jsou následné důsledky?
🟡 Potenciál pro manipulaci s identitou, hodnotami nebo znalostmiJe systém navržen nebo potenciálně schopen manipulovat s identitou uživatele resp
nastavit hodnoty, nebo šířit dezinformace?
🔴 Příležitosti pro sebevyjádření a seberealizaciExistuje potenciál pro umělost a pochyby o sobě? Je zde potenciál pro falešné resp
neověřitelná tvrzení o odbornosti?
🔴 Měřítka vlastní hodnotyExistuje tlak na zobrazování idealizovaného já? Automatizace by mohla nahradit smysl
osobního naplnění? Existuje tlak soutěžit se systémem v
pracoviště? Je těžší chránit pověst jednotlivce před dezinformacemi?
🔴 SoukromíExistují rozptýlené odpovědnosti za ochranu soukromí a existují nějaké?
učiněné předpoklady o tom, jak jsou osobní údaje používány?
🔴 AutonomieMohl by systém AI ovlivnit lidskou autonomii tím, že by generoval přílišné spoléhání
koneční uživatelé?
🔴 Lidský rozvojMá vliv na získávání klíčových dovedností pro rozvoj člověka, jako je např
exekutivní funkce nebo interpersonální dovednosti nebo změny v době pozornosti ovlivňující
učení, rozvoj osobnosti, duševní zdraví atd.?
🔴 Osobní zdravotní péčeExistují tvrzení o vlastní diagnostice nebo individuálních řešeních zdravotní péče? pokud ano,
jsou validovány podle regulačních norem?
🔴 Duševní zdravíHrozí zvýšená úzkost, osamělost nebo jiné psychické problémy, popř
může technologie takové dopady zmírnit?
🢢 Lidská evoluceMohly by velké jazykové modely a umělá obecná inteligence změnit
průběh lidské evoluce?
🢢 Interakce člověk-strojMohlo by používání vést časem ke ztrátě dovedností a závislosti jednotlivců? jsou
má vliv na lidskou interakci?
5) Technologická kritéria zvažovaná v rámci jsou specificky pro umělou inteligenci a bude třeba je případně revidovat pro další technologie.

Dimenze dopadu: Společnost/společenský život

Kritéria Příklady toho, jak se to může projevit v analýze
🔴 Společenské hodnotyMění systém zásadně povahu společnosti, umožňuje normalizaci myšlenek, které byly dříve považovány za antisociální, nebo narušuje společenské hodnoty kultury, ve které se uplatňuje?
🔴 Sociální interakceMá to vliv na smysluplný lidský kontakt, včetně citových vztahů?
🔴 Zdraví populaceExistuje potenciál, aby systém pokročil nebo podkopal záměry v oblasti zdraví populace?
🔴 Kulturní vyjádřeníJe nárůst kulturního přivlastňování nebo diskriminace pravděpodobný nebo obtížnější? Vylučuje spoléhání se na systém rozhodování nebo je marginalizuje kulturně relevantní sektorové vazby společnosti?
🔴Veřejné vzděláváníMá to vliv na role učitelů nebo vzdělávací instituce? Zdůrazňuje nebo snižuje systém digitální propast a nerovnost mezi studenty? Je vnitřní hodnota znalostí nebo kritického porozumění pokročilá nebo podkopaná?
🢢 Zkreslená realitaJsou metody používané k rozlišení toho, co je pravda, stále použitelné? Je vnímání reality ohroženo?

Dimenze dopadu: Ekonomický kontext (obchod)

KritériaPříklady toho, jak se to může projevit v analýze
🥳 Průmyslový sektorV jakém průmyslovém sektoru je systém nasazen (finance, zemědělství, zdravotnictví, školství, obrana atd.)?
🡨 Obchodní modelV jaké obchodní funkci je systém zaměstnán a v jaké funkci? Kde se systém používá (soukromý, veřejný, neziskový)?
🟡 Dopady na kritické aktivity Ovlivnilo by narušení funkce nebo činnosti systému základní služby nebo kritické infrastruktury?
🟡Šířka nasazeníJak je systém nasazen (úzké použití v rámci jednotky vs. rozšířené celostátně/mezinárodně)?
🡡 Technická vyspělostJak je systém technicky vyspělý?
🢢 Interoperabilita Je pravděpodobné, že budou existovat sila, na národní nebo globální úrovni, která brání volnému obchodu a ovlivňují spolupráci s partnery?
🢢 Technologická suverenitaVede touha po technologické suverenitě k chování, včetně kontroly nad celým dodavatelským řetězcem AI?
🔴 Redistribuce příjmů a národní fiskální pákyMohly by být ohroženy základní role suverénního státu (např. rezervní banky)? Posílí nebo sníží se schopnost státu plnit očekávání občanů a důsledky (sociální, ekonomické, politické atd.)?
🢢 Digitální propast (AI propasti) Prohlubují se stávající digitální nerovnosti nebo se vytvářejí nové?

Rozměry dopadu: Občanský život

KritériaPříklady toho, jak se to může projevit v analýze
🔴 Správa a veřejná službaMohly by být mechanismy vládnutí a globální systém vládnutí ovlivněny pozitivně nebo negativně?
🔴 Zpravodajská médiaJe pravděpodobné, že se veřejný diskurz polarizuje a upevňuje na úrovni populace? Bude to mít vliv na úroveň důvěry ve Čtvrtý stav? Budou dále ovlivněny konvenční standardy novinářské etiky a integrity?
🔴 Právní státBude mít vliv na schopnost identifikovat jednotlivce nebo organizace, které je třeba pohnat k odpovědnosti (např. jaký druh odpovědnosti přiřadit algoritmu za nepříznivé výsledky)? Dochází ke ztrátě suverenity (environmentální, fiskální, sociální politika, etika atd.)?
🔴Politika a sociální soudržnostExistuje možnost více zakořeněných politických názorů a méně příležitostí k budování konsenzu? Existuje možnost další marginalizace skupin? Jsou protichůdné styly politiky více či méně pravděpodobné?
🢢 Sociální licenceExistují obavy o soukromí, otázky důvěry a morální obavy, které je třeba vzít v úvahu, aby zainteresované strany přijaly použití?
🢢 Domorodé znalostiMohlo by dojít k poškození nebo zneužití domorodých znalostí a dat? Existují adekvátní opatření na ochranu před zkreslením, dezinformacemi a vykořisťováním?
🢢 Vědecký systémJe narušena akademická a výzkumná integrita? Dochází ke ztrátě důvěry ve vědu? Existují možnosti zneužití, nadužívání nebo zneužití? Jaký je důsledek vědecké praxe?

Dimenze dopadu: Geostrategický/geopolitický kontext

KritériaPříklady toho, jak se to může projevit v analýze
🢢 Přesný dohledJsou systémy vyškoleny na základě individuálních behaviorálních a biologických údajů a mohly by být použity k vykořisťování jednotlivců nebo skupin?
🢢 Digitální soutěžMohly by státní či nestátní aktéři (např. velké technologické společnosti) využít systémy a data k pochopení a kontrole populací a ekosystémů jiných zemí nebo podkopat jurisdikční kontrolu?
🢢 Geopolitická soutěžMohl by systém vyvolat konkurenci mezi národy při využívání individuálních a skupinových dat pro ekonomické, lékařské a bezpečnostní zájmy?
🢢 Posun v globálních siláchJe postavení národních států jako hlavních světových geopolitických aktérů ohroženo? Mají technologické společnosti moc, která byla kdysi vyhrazena národním státům, a staly se nezávislými, suverénními aktéry (vznikající technopolární světový řád)?
🢢 DezinformaceUsnadnil by systém produkci a šíření dezinformací státním i nestátním aktérům s dopadem na sociální soudržnost, důvěru a demokracii?
🢢 Aplikace pro dvojí použitíExistuje možnost jak pro vojenské, tak i pro civilní použití?
🢢 Fragmentace globálního řáduMohla by se vyvinout sila nebo shluky regulace a dodržování předpisů, které by bránily spolupráci, vedly k nesrovnalostem v aplikaci a vytvořily prostor pro konflikty?

Rozměry dopadu: Environmentální

KritériaPříklady toho, jak se to může projevit v analýze
🢢 Spotřeba energie a zdrojů (uhlíková stopa)Zvyšuje systém a požadavky spotřebu energie a zdrojů nad rámec zvýšení účinnosti dosaženého aplikací?
🢢 Zdroj energieOdkud se získává energie pro systém (obnovitelná vs. fosilní paliva atd.)?

Rozměry dopadu: Data a vstup

KritériaPříklady toho, jak se to může projevit v analýze
🡡 Směr a sběrJsou data a vstupy shromažďovány lidmi, automatizovanými senzory nebo obojím?
🡩 Provenience datJsou data a vstupy od odborníků poskytnuty, pozorovány, synteticky nebo odvozeny? Existují ochrany vodoznaku pro potvrzení původu?
🟡 Dynamická povaha datJsou data dynamická, statická, dynamická čas od času nebo v reálném čase?
🡡 PrávaJsou údaje chráněné, veřejné nebo osobní (týkající se identifikovatelných osob)?
🟡 Identifikovatelnost a osobní údajePokud jsou osobní, jsou údaje anonymizovány nebo pseudonymizovány?
🡗 Struktura datJsou data strukturovaná, polostrukturovaná, složitě strukturovaná nebo nestrukturovaná?
🡨 Formát datJe formát dat a metadat standardizovaný nebo nestandardizovaný?
🡨 Měřítko datJaké je měřítko datové sady?
🡗 Vhodnost a kvalita dat Je datová sada vhodná pro daný účel? Je velikost vzorku dostatečná? Je dostatečně reprezentativní a kompletní? Jak hlučná jsou data? Je to náchylné k chybám?

Rozměry dopadu: Model

KritériaPříklady toho, jak se to může projevit v analýze
🡨 Dostupnost informacíJsou k dispozici nějaké informace o modelu systému?
🟡 Typ modelu AIJe model symbolický (pravidla vytvořená lidmi), statistický (využívá data) nebo hybridní?
🟡 Práva spojená s modelemJe model open source nebo proprietární, spravovaný vlastními silami nebo třetí stranou?
🟡 Jeden z více modelůSkládá se systém z jednoho modelu nebo z několika vzájemně propojených modelů?
🡡 Generativní nebo diskriminačníJe model generativní, diskriminační nebo obojí?
🡡 Stavba modelůUčí se systém na základě lidmi napsaných pravidel, z dat, učením pod dohledem nebo učením posilujícím?
🟡 Vývoj modelu (AI drift)Vyvíjí se model a/nebo získává schopnosti z interakce s daty v terénu?
🟡 Federované nebo centrální vzděláváníJe model trénován centrálně nebo na několika lokálních serverech nebo „hranových“ zařízeních?
🡡 Vývoj/údržbaJe model univerzální, přizpůsobitelný nebo přizpůsobený datům AI aktéra?
🡡 Deterministické nebo pravděpodobnostní Je model používán deterministickým nebo pravděpodobnostním způsobem?
🟡 Průhlednost modelu Jsou uživatelům k dispozici informace, které jim umožní pochopit výstupy modelu a omezení nebo použít omezení?
🢢 Výpočetní omezeníExistují výpočetní omezení systému? Je možné předvídat skoky ve schopnostech nebo zákony škálování?

Rozměry dopadu: Úkol a výstup

KritériaPříklady toho, jak se to může projevit v analýze
🟡 Úkoly provedené systémemJaké úkoly systém plní (rozpoznávání, detekce událostí, předpovídání atd.)?
🟡 Kombinace úkolů a akcíKombinuje systém několik úkolů a akcí (systémy generování obsahu, autonomní systémy, řídicí systémy atd.)?
🟡 Úroveň autonomie systému Jak autonomní jsou akce systému a jakou roli hrají lidé?
🡡 Míra lidské účastiExistuje nějaké lidské zapojení, které by dohlíželo na celkovou činnost systému AI a schopnost rozhodnout, kdy a jak systém AI použít v jakékoli situaci?
🟡 Základní aplikacePatří systém do základní aplikační oblasti, jako jsou technologie lidského jazyka, počítačové vidění, automatizace a/nebo optimalizace nebo robotika?
🡨 HodnoceníJsou k dispozici normy nebo metody pro hodnocení výstupů systému?

Jak by se dal tento rámec použít?

Tento rámec lze použít mnoha způsoby, včetně:

  • Překlenout propast mezi zásadami na vysoké úrovni a hodnocením pro účely regulace nebo správy. Rámec to může podpořit vytvořením ověřené společné taxonomie řady problémů, které si zaslouží zvážení příslušných zúčastněných stran jako základ pro informování a formování dalšího myšlení. Například na národní úrovni by mohl být rámec použit jako nástroj vládou při vývoji národní strategie a politik umělé inteligence k vytvoření společného základu rizik a příležitostí napříč skupinami zúčastněných stran.
  • Informovat o posouzení dopadů. Zákon EU o umělé inteligenci vyžaduje, aby organizace, které poskytují nástroje umělé inteligence nebo přijímají umělou inteligenci ve svých procesech, provedly posouzení dopadu s cílem identifikovat rizika jejich iniciativ a uplatnit vhodný přístup k řízení rizik. Zde prezentovaný rámec by k tomu mohl sloužit jako základ.
  • Informovat horizont skenování pro rizika a budoucí scénáře. Kategorizace rizik v Průběžné zprávě Poradního orgánu OSN pro umělou inteligenci6 je široce sladěna s rámcem uvedeným v tomto rámci. Existuje příležitost, aby byl rámec použit k budování konsenzu a testování závažnosti nově se objevujících rizik a také k jejich předcházení.
  • Posílit etické zásady potřebné k vedení a řízení používání AI. Rámec to dokáže tím, že poskytuje flexibilní základ, na kterém lze vyvíjet důvěryhodné systémy, a zajišťuje zákonné, etické, robustní a odpovědné používání technologie. Tyto zásady by mohly být testovány s ohledem na celou řadu dopadů uvedených v tomto rámci.
  • Usnadnit inventuru stávajících a vyvíjejících se opatření (regulačních, legislativních, politických, norem, řízení atd.) a identifikovat mezery, které je třeba dále zvážit. Ty by mohly být mapovány podle rámcových kategorií na vnitrostátní nebo nadnárodní úrovni, aby se určily mezery a určila vhodná opatření ke zmírnění rizik.
  • Na podporu vládního používání AI. Vzhledem k tomu, že mnoho vlád určuje své příslušné strategie pro používání umělé inteligence v rámci agentur a systémů, lze tento rámec použít k definování vhodných prahových hodnot rizik a identifikaci klíčových zúčastněných stran a odpovědností.
  • Podporovat veřejný diskurs a vytvořit společenskou licenci o tom, jak je umělá inteligence používána, a podpůrná data, která budou využívána ve vládních službách nebo v širším měřítku ve společnosti.

Cesta vpřed
Stručně řečeno, analytický rámec je poskytován jako základ souboru nástrojů, který by mohly zúčastněné strany využít ke komplexnímu pohledu na jakýkoli významný vývoj platforem nebo jejich používání konzistentním a systematickým způsobem. Dimenze prezentované v tomto rámci mají význam od hodnocení technologií po veřejnou politiku, od lidského rozvoje po sociologii a budoucnost a technologické studie. Přestože byl tento analytický rámec vyvinut pro umělou inteligenci, má mnohem širší uplatnění v jakékoli jiné nově vznikající technologii.

6 Poradní sbor OSN pro umělou inteligenci. 2023. Průběžná zpráva: Řízení umělé inteligence pro lidstvo. https://www.un.org/sites/un2.un.org/files/ai_advisory_body_interim_report.pd

Poděkování

Mnoho lidí bylo konzultováno a poskytli zpětnou vazbu při vývoji jak úvodního diskusního dokumentu, tak zpětné vazby po jeho vydání. Oba dokumenty vypracovali Sir Peter Gluckman, prezident ISC a Hema Sridhar, bývalý hlavní vědecký poradce, Ministerstvo obrany, Nový Zéland a nyní Senior Research Fellow, University of Auckland, Nový Zéland.

Zejména ISC Lord Martin Rees, bývalý prezident Královské společnosti a spoluzakladatel Centra pro studium existenčních rizik, University of Cambridge; Profesor Shivaji Sondhi, profesor fyziky, University of Oxford; Profesor K Vijay Raghavan, bývalý hlavní vědecký poradce indické vlády; Amandeep Singh Gill, vyslanec generálního tajemníka OSN pro technologie; Seán Ó hÉigeartaigh, výkonný ředitel Centra pro studium existenčních rizik, University of Cambridge; Sir David Spiegelhalter, Winton profesor veřejného porozumění rizik, University
z Cambridge; Amanda-June Brawner, hlavní politický poradce a Ian Wiggins, ředitel pro mezinárodní záležitosti, Royal Society, Spojené království; Dr. Jerome Duberry, výkonný ředitel a Dr. Marie-Laure Salles, ředitelka Geneva Graduate Institute; Chor Pharn Lee, Centrum pro strategické budoucnosti, Úřad předsedy vlády, Singapur; Barend Mons a Dr Simon Hodson, Výbor pro data (CoDATA); profesor Yuko Harayama, bývalý výkonný ředitel, RIKEN; Profesor
Rémi Quirion, prezident INGSA; Dr. Claire Craigová, University of Oxford a bývalá vedoucí prognostického úřadu, vládní úřad pro vědu; Prof Yoshua Bengio, vědecký poradní sbor generálního tajemníka OSN a na Université de Montréal; a mnoho dalších, kteří poskytli ISC zpětnou vazbu k úvodnímu diskusnímu dokumentu.


Další čtení

Příprava národních výzkumných ekosystémů na umělou inteligenci: Strategie a pokrok v roce 2024

Tento pracovní dokument od think tanku ISC, Center for Science Futures, poskytuje základní informace a přístup ke zdrojům ze zemí ze všech částí světa v různých fázích integrace umělé inteligence do jejich výzkumných ekosystémů.

Přejít na obsah