Visoko tvegani sistemi umetne inteligence so osrednja točka evropske uredbe o umetni inteligenci ( Uredba (EU) 2024/1689 ), običajno imenovane Zakon o umetni inteligenci, ki uvaja okvir za razvoj, dobavo in uporabo sistemov umetne inteligence (UI), ki temelji na tveganju. Večje kot je tveganje za zdravje, varnost in temeljne pravice, težje so obveznosti.
Za organizacije se skladnost torej ne začne s pripravo tehnične dokumentacije, temveč s pravilno razvrstitvijo. Najprej ugotovite, kateri sistemi umetne inteligence so razviti, kupljeni ali uporabljeni znotraj organizacije. Nato ocenite, ali je sistem prepovedan , visoko tvegan, ali zanj veljajo obveznosti glede preglednosti ali ali zanj ne veljajo nobene posebne obveznosti.
Ta članek določa, kdaj se sistem umetne inteligence lahko šteje za visoko tvegan, katere obveznosti veljajo za ponudnike in uvajalce ter katere korake lahko organizacije sprejmejo zdaj. Zajema tudi trenutni časovni okvir, vključno s spremembami v okviru postopka Digital Omnibus. Referenčni datum za ta članek je 25. julij 2026.
Kdaj je sistem umetne inteligence visoko tvegan?
Ocena visoko tveganih sistemov umetne inteligence se izvaja predvsem v skladu s členom 6 ter prilogama I in III Zakona o umetni inteligenci. Obstajata dva načina.
Prva pot se nanaša na sisteme umetne inteligence, ki so del izdelkov, za katere velja evropska zakonodaja o izdelkih, navedena v Prilogi I, in za katere je potrebno ugotavljanje skladnosti s strani tretje osebe. Pomislite na nekatere medicinske pripomočke, stroje, dvigala in igrače. Za te sisteme zakon o umetni inteligenci temelji na obstoječem postopku ugotavljanja skladnosti.
Druga pot se nanaša na sisteme umetne inteligence, ki se uporabljajo na področjih, navedenih v Prilogi III: biometrija, kritična infrastruktura, izobraževanje in poklicno usposabljanje, zaposlovanje in upravljanje delovne sile, dostop do bistvenih zasebnih in javnih storitev, kazenski pregon, migracije, azil in mejni nadzor ter upravljanje pravosodja in demokratični procesi. Vsaka uporaba znotraj takega področja ne pomeni samodejno razvrstitve med visoko tvegane sisteme umetne inteligence: oceniti je treba tudi specifično funkcijo sistema in pogoje iz 6. člena.
Izjema iz člena 6(3)
Sistem, ki spada na področje Priloge III, se ne uvršča samodejno med visoko tvegane sisteme umetne inteligence: ta razvrstitev je izključena, kadar ne predstavlja večjega tveganja za zdravje, varnost ali temeljne pravice oseb in bistveno ne vpliva na izid odločanja. To je lahko primer, kadar sistem opravlja le ozko proceduralno nalogo, zgolj izboljša dejavnost, ki jo je že opravil človek, le označi odstopanja od prejšnjega človekovega odločanja, ne da bi nadomestil to oceno, ali opravlja le pripravljalno nalogo.
Sklicevanje na to izjemo mora biti skrbno utemeljeno in dokumentirano. Organizacija zabeleži ne le sklep, temveč tudi dejstva in oceno, na kateri ta sklep temelji. Ponudnik, ki meni, da sistem iz Priloge III ne spada med visoko tvegane sisteme umetne inteligence, mora to oceno dokumentirati, preden je sistem dan na trg ali v uporabo, poleg tega pa zanj velja obveznost registracije iz člena 49(2).
V eni točki je Uredba absolutna. Člen 6(3) določa, da se sistem umetne inteligence iz Priloge III vedno šteje med sisteme umetne inteligence z visokim tveganjem, kadar izvaja profiliranje fizičnih oseb. V tem primeru se izjeme ni mogoče sklicevati.
Kakšno vlogo ima vaša organizacija?
Zakon o umetni inteligenci razlikuje več vlog v verigi. Za večino organizacij sta pomembni dve. Stranka, ki razvije sistem umetne inteligence ali ga da na trg pod svojim imenom ali blagovno znamko, se šteje za ponudnika. Stranka, ki uporablja sistem umetne inteligence v okviru lastnega poslovanja, ne da bi ga razvila, se na splošno šteje za ponudnika.
Ta razporeditev vlog ni statična. Organizacija, ki bistveno spremeni kupljeni sistem, ga dobavi naprej pod svojim imenom ali blagovno znamko ali spremeni njegov predvideni namen, se lahko še vedno šteje za ponudnika in zato spada pod strožji sklop obveznosti. Za vsak sistem določite, katero vlogo izpolnjujete, in zabeležite to oceno.
Glavne obveznosti
Za ponudnike sistemov umetne inteligence z visokim tveganjem veljajo obveznosti, vključno s tistimi iz členov 8 do 17, 43 in 47 do 49:
- sistem upravljanja tveganj, ki zajema celoten življenjski cikel
- upravljanje podatkov, vključno z odkrivanjem in popravljanjem pristranskosti v uporabljenih podatkih, vključno s podatki za usposabljanje, validacijo in testiranje
- tehnična dokumentacija v skladu s Prilogo IV in beleženje dogodkov
- jasna navodila za uporabo za izvajalce
- zasnova, ki omogoča učinkovit človeški nadzor
- zahteve glede natančnosti, robustnosti in kibernetske varnosti
- sistem vodenja kakovosti, ugotavljanje skladnosti, izjava EU o skladnosti, oznaka CE in registracija v zbirki podatkov EU
Za visoko tvegane sisteme umetne inteligence, ki se uporabljajo za oddaljeno biometrično identifikacijo, kot je navedeno v točki 1(a) Priloge III, člen 14(5) nalaga dodatno zahtevo glede človeškega nadzora: na podlagi identifikacije se ne sme sprejeti noben ukrep ali odločitev, razen če je ločeno preverita in potrdita vsaj dve fizični osebi s potrebnimi kompetencami, usposabljanjem in pooblastilom. To je znano kot načelo štirih oči.
Za ponudnike veljajo lažje, a nič manj pomembne obveznosti iz členov 26 in 27: uporaba v skladu z navodili za uporabo, nadzor s strani pristojnega človeka, spremljanje delovanja sistema, poročanje o tveganjih in resnih incidentih ter hramba dnevnikov vsaj šest mesecev. Zaposleni, ki bodo delali s sistemom, in osebe, pri katerih se uporablja, morajo biti o tem obveščeni vnaprej.
Nekateri ponudniki morajo opraviti tudi oceno vpliva na temeljne pravice, oceno vpliva na temeljne pravice v skladu s členom 27. To v vsakem primeru velja za osebe javnega prava, zasebne ponudnike javnih storitev in ponudnike, ki uporabljajo sisteme za kreditno točkovanje ali za ocenjevanje zavarovalnih tveganj pri življenjskem in zdravstvenem zavarovanju.
Časovnica in trenutno stanje
Zakon o umetni inteligenci je začel veljati 1. avgusta 2024 in se bo uporabljal postopno. V praksi je pomembno razlikovati med obveznostmi, ki že veljajo, obveznostmi z datumom uporabe v prihodnosti in napovedanimi spremembami, katerih formalni začetek veljavnosti še ni zaključen.
Prepovedane prakse (člen 5): Uporablja se od 2. februarja 2025
Pismenost na področju umetne inteligence (člen 4): Uporablja se od 2. februarja 2025
Splošni modeli umetne inteligence: Velja od 2. avgusta 2025
Obveznosti glede preglednosti (člen 50): Uporabljajo se od 2. avgusta 2026; niso odložene.
Visoko tveganje prek Priloge III: formalno še vedno 2. avgust 2026; ko bo Omnibus začel veljati, najkasneje 2. december 2027
Visoko tveganje prek Priloge I: formalno še vedno 2. avgust 2027; ko bo Omnibus začel veljati, najkasneje 2. avgust 2028
Evropska komisija je 19. novembra 2025 objavila sveženj Digital Omnibus, v katerem je predlagala odlog uporabe obveznosti za visoko tvegane sisteme umetne inteligence. Začasni politični dogovor je bil dosežen 7. maja 2026. Evropski parlament je 16. junija 2026 potrdil sveženj, Svet pa je končno odobril 29. junija 2026.
Vendar pa na referenčni datum tega članka objava v Uradnem listu Evropske unije še ni bila končana. Sprememba začne veljati tretji dan po objavi. Do takrat ostaja veljavna zakonodaja prvotni časovni okvir zakona o umetni inteligenci, pri čemer je 2. avgust 2026 datum začetka uporabe obveznosti z visokim tveganjem iz Priloge III. Objava pred tem datumom je na splošno pričakovana, vendar še ni potrjena.
Odlog je poleg tega strukturiran pogojno. Uporaba obveznosti za sisteme umetne inteligence z visokim tveganjem je vezana na sklep Komisije, ki ugotavlja, da so na voljo potrebni usklajeni standardi in podporni instrumenti, ki mu sledi prehodno obdobje. Datuma 2. december 2027 in 2. avgust 2028 delujeta kot varovalna roka in ne kot preprost odlog.
Dve točki si zaslužita ločeno pozornost. Prvič, obveznosti glede preglednosti iz 50. člena in obveznost pismenosti na področju umetne inteligence iz 4. člena nista bili odloženi: ostajata v prvotni časovnici. Drugič, sveženj 5. členu dodaja novo prepoved, ki je namenjena aplikacijam umetne inteligence, ki ustvarjajo intimne posnetke brez privolitve, in gradiv o spolni zlorabi otrok, ki jih ustvari umetna inteligenca.
Za organizacije to pomeni, da je načrtovanje za december 2027 smiselno, vendar bi moralo biti vodenje evidenc zaenkrat urejeno, kot da je avgust 2026 še vedno zavezujoč, dokler Uradni list ne določi drugače.
Nadzor in kazni
Na Nizozemskem na referenčni datum tega članka še vedno ni izvedbene zakonodaje za Zakon o umetni inteligenci. Pričakuje se, da bosta nizozemski organ za digitalno infrastrukturo in nizozemski organ za varstvo podatkov prevzela osrednjo, usklajevalno vlogo, sektorski nadzorniki pa bodo ostali odgovorni na svojih področjih. Natančna razdelitev pooblastil in njena zakonska podlaga pa bosta določeni na podlagi končne nizozemske izvedbene zakonodaje.
Člen 99 zakona o umetni inteligenci določa več najvišjih kategorij kazni. Višina je odvisna od narave kršitve in, kjer je to ustrezno, od letnega prometa podjetja na svetovni ravni. Najvišja najvišja kazen velja za kršitev prepovedanih praks iz člena 5; nižja najvišja kazen velja za kršitev drugih obveznosti, vključno s tistimi za ponudnike in uvajalce visoko tveganih sistemov umetne inteligence; najnižja pa za posredovanje napačnih, nepopolnih ali zavajajočih informacij organom. Za mala in srednje velika podjetja (MSP), vključno z zagonskimi podjetji, velja ugodnejši režim. Dejanska kazen se določi ob upoštevanju veljavnih pravil o kaznih in okoliščin primera.
Praktični načrt
- Popisajte vse sisteme umetne inteligence, ki jih vaša organizacija razvija, kupuje ali uporablja.
- Za vsak sistem določite, katero vlogo opravljate: ponudnika ali izvajalca.
- Določite kategorijo tveganja za vsak sistem in dokumentirajte to oceno, vključno z morebitnim sklicevanjem na izjemo iz člena 6(3).
- Vzpostavite upravljanje umetne inteligence in imenujete odgovornega uradnika.
- Zagotovite pismenost na področju umetne inteligence med zaposlenimi, ki delajo s temi sistemi; ta obveznost že velja.
- Pripraviti ukrepe za preglednost v skladu s členom 50 z vidika 2. avgusta 2026.
- Pravočasno začnite s tehnično dokumentacijo in po potrebi z oceno vpliva na temeljne pravice.
- Pregledajte pogodbe z dobavitelji glede dodelitve vlog, zagotavljanja informacij in pravic do revizije.
- Spremljajte objavo paketa Omnibus v Uradnem listu in ustrezno prilagodite svoje načrtovanje.
zaključek
Zakon o umetni inteligenci bistveno vpliva na to, kako organizacije razvijajo, kupujejo in uporabljajo umetno inteligenco. Napovedani odlog obveznosti z visokim tveganjem zagotavlja dodaten čas, vendar še ni veljavna zakonodaja, obveznosti, ki že veljajo ali začnejo veljati 2. avgusta 2026, pa niso prizadete. Zato je preudaren pristop, da se načrtuje glede na nove datume, hkrati pa ostanete pripravljeni na stare. Za širši pregled uredbe si oglejte naš Popoln vodnik po zakonu EU o umetni inteligenci , ki dopolnjuje osredotočenost tega članka na sisteme umetne inteligence z visokim tveganjem.
Law & More pomaga organizacijam pri popisu in klasifikaciji njihovih sistemov umetne inteligence, določitvi njihove vloge kot ponudnika ali uvajalca, pregledu in pripravi pogodb z dobavitelji umetne inteligence ter vzpostavitvi upravljanja umetne inteligence. Bi radi vedeli, katere obveznosti trenutno veljajo za vašo organizacijo in kateri koraki bi morali imeti prednost? Za neobvezujoč pogovor nas prosim kontaktirajte.
Pogosta vprašanja
Spodaj odgovarjamo na vprašanja, ki nam jih na to temo najpogosteje zastavljajo.
Kaj je zakon o umetni inteligenci?
Evropska uredba o umetni inteligenci (Uredba (EU) 2024/1689). Veljati je začela 1. avgusta 2024 in se bo uporabljala postopoma, pri čemer se obveznosti zaostrujejo z naraščajočim tveganjem, ki ga predstavlja sistem umetne inteligence.
Kdaj je sistem umetne inteligence visoko tvegan?
Na dva načina: kot del izdelka, ki ga zajema zakonodaja o izdelkih, navedena v Prilogi I, ali z uporabo na enem od področij, navedenih v Prilogi III. V slednjem primeru samo področje ni odločilno; upoštevajo se tudi posebna funkcija in pogoji iz člena 6.
Ali lahko sistem iz Priloge III kljub temu ne spada v kategorijo visokega tveganja?
Da, kadar ne predstavlja večjega tveganja in bistveno ne vpliva na odločanje, na primer kadar opravlja ozko postopkovno ali zgolj pripravljalno nalogo. Ta ocena mora biti dokumentirana. Kadar sistem izvaja profiliranje fizičnih oseb, izjema nikoli ne velja.
Sem ponudnik ali izvajalec?
Ponudnik ste, če sistem razvijete ali ga daste na trg pod svojim imenom ali blagovno znamko, in na splošno ponudnik, če uporabljate kupljeni sistem. Če kupljeni sistem bistveno spremenite ali ga dobavljate naprej pod svojim imenom, lahko še vedno postanete ponudnik.
Katere obveznosti veljajo za ponudnike?
Med drugim obvladovanje tveganj, upravljanje podatkov, tehnična dokumentacija, beleženje, navodila za uporabo, človeški nadzor, zahteve glede natančnosti in kibernetske varnosti, sistem vodenja kakovosti, ugotavljanje skladnosti, oznaka CE in registracija v zbirki podatkov EU.
Katere obveznosti veljajo za ponudnike?
Uporaba v skladu z navodili, nadzor pristojnega človeka, spremljanje, poročanje o tveganjih in resnih incidentih ter hramba dnevnikov vsaj šest mesecev. Vpletene zaposlene in osebe, pri katerih se sistem uporablja, je treba o tem obvestiti vnaprej.
Kdaj je treba izvesti oceno vpliva na temeljne pravice?
Člen 27 to med drugim zahteva od oseb javnega prava, zasebnih ponudnikov javnih storitev in ponudnikov, ki uporabljajo sisteme za kreditno točkovanje ali za ocenjevanje zavarovalnih tveganj pri življenjskem in zdravstvenem zavarovanju.
Ali so bile obveznosti z visokim tveganjem odložene?
Sprejeta sprememba odloži uporabo Priloge III najpozneje do 2. decembra 2027 in Priloge I do 2. avgusta 2028. Na referenčni datum tega člena ta sprememba še ni bila objavljena v Uradnem listu, zato prvotni datum 2. avgust 2026 formalno še vedno velja.
Kaj že velja danes?
Prepovedane prakse iz člena 5 in obveznost pismenosti na področju umetne inteligence od 2. februarja 2025 ter pravila za modele umetne inteligence za splošno uporabo od 2. avgusta 2025. Obveznosti glede preglednosti iz člena 50 začnejo veljati 2. avgusta 2026 in niso bile odložene.
Kdo nadzira zakon o umetni inteligenci na Nizozemskem?
Izvedbena zakonodaja še vedno manjka. Pričakuje se, da bosta nizozemski organ za digitalno infrastrukturo in nizozemski organ za varstvo podatkov prevzela osrednjo, usklajevalno vlogo skupaj s sektorskimi nadzorniki. Končna razdelitev pristojnosti bo sledila nizozemski izvedbeni zakonodaji.
Kaj naj moja organizacija stori zdaj?
Začnite s popisom vseh sistemov umetne inteligence, ki jih razvijate, kupujete ali uporabljate. Za vsak sistem zabeležite, katero vlogo imate, katera kategorija tveganja velja in katere obveznosti sledijo. Vzpostavite tudi upravljanje umetne inteligence, zagotovite pismenost na področju umetne inteligence in preglejte pogodbe z dobavitelji glede dodelitve vlog, zagotavljanja informacij in pravic do revizije.
