Visoko tvegani sistemi umetne inteligence: kaj zakon o umetni inteligenci zahteva od vaše organizacije

Visoko tvegani sistemi umetne inteligence so osrednja točka evropske uredbe o umetni inteligenci ( Uredba (EU) 2024/1689 ), običajno imenovane Zakon o umetni inteligenci, ki uvaja okvir za razvoj, dobavo in uporabo sistemov umetne inteligence (UI), ki temelji na tveganju. Večje kot je tveganje za zdravje, varnost in temeljne pravice, težje so obveznosti.

Za organizacije se skladnost torej ne začne s pripravo tehnične dokumentacije, temveč s pravilno razvrstitvijo. Najprej ugotovite, kateri sistemi umetne inteligence so razviti, kupljeni ali uporabljeni znotraj organizacije. Nato ocenite, ali je sistem prepovedan , visoko tvegan, ali zanj veljajo obveznosti glede preglednosti ali ali zanj ne veljajo nobene posebne obveznosti.

Ta članek določa, kdaj se sistem umetne inteligence lahko šteje za visoko tveganega, katere obveznosti veljajo za ponudnike in uvajalce ter katere korake lahko organizacije sprejmejo zdaj. Določa tudi časovnico, kot je trenutno, po odlogu visoko tveganih obveznosti v skladu z digitalnim omnibusom.

Kdaj je sistem umetne inteligence visoko tvegan?

Ocena visoko tveganih sistemov umetne inteligence se izvaja predvsem v skladu s členom 6 ter prilogama I in III Zakona o umetni inteligenci. Obstajata dva načina.

Prva pot se nanaša na sisteme umetne inteligence, ki so del izdelkov, za katere velja evropska zakonodaja o izdelkih, navedena v Prilogi I, in za katere je potrebno ugotavljanje skladnosti s strani tretje osebe. Pomislite na nekatere medicinske pripomočke, stroje, dvigala in igrače. Za te sisteme zakon o umetni inteligenci temelji na obstoječem postopku ugotavljanja skladnosti.

Druga pot se nanaša na sisteme umetne inteligence, ki se uporabljajo na področjih, navedenih v Prilogi III: biometrija, kritična infrastruktura, izobraževanje in poklicno usposabljanje, zaposlovanje in upravljanje delovne sile, dostop do bistvenih zasebnih in javnih storitev, kazenski pregon, migracije, azil in mejni nadzor ter upravljanje pravosodja in demokratični procesi. Vsaka uporaba znotraj takega področja ne pomeni samodejno razvrstitve med visoko tvegane sisteme umetne inteligence: oceniti je treba tudi specifično funkcijo sistema in pogoje iz 6. člena.

Izjema iz člena 6(3)

Sistem, ki spada na področje Priloge III, se ne uvršča samodejno med visoko tvegane sisteme umetne inteligence: ta razvrstitev je izključena, kadar ne predstavlja večjega tveganja za zdravje, varnost ali temeljne pravice oseb in bistveno ne vpliva na izid odločanja. To je lahko primer, kadar sistem opravlja le ozko proceduralno nalogo, zgolj izboljša dejavnost, ki jo je že opravil človek, le označi odstopanja od prejšnjega človekovega odločanja, ne da bi nadomestil to oceno, ali opravlja le pripravljalno nalogo.

Sklicevanje na to izjemo mora biti skrbno utemeljeno in dokumentirano. Organizacija zabeleži ne le sklep, temveč tudi dejstva in oceno, na kateri ta sklep temelji. Ponudnik, ki meni, da sistem iz Priloge III ne spada med visoko tvegane sisteme umetne inteligence, mora to oceno dokumentirati, preden je sistem dan na trg ali v uporabo, poleg tega pa zanj velja obveznost registracije iz člena 49(2).

V eni točki je Uredba absolutna. Člen 6(3) določa, da se sistem umetne inteligence iz Priloge III vedno šteje med sisteme umetne inteligence z visokim tveganjem, kadar izvaja profiliranje fizičnih oseb. V tem primeru se izjeme ni mogoče sklicevati.

Kakšno vlogo ima vaša organizacija?

Zakon o umetni inteligenci razlikuje več vlog v verigi. Za večino organizacij sta pomembni dve. Stranka, ki razvije sistem umetne inteligence ali ga da na trg pod svojim imenom ali blagovno znamko, se šteje za ponudnika. Stranka, ki uporablja sistem umetne inteligence v okviru lastnega poslovanja, ne da bi ga razvila, se na splošno šteje za ponudnika.

Ta razporeditev vlog ni statična. Organizacija, ki bistveno spremeni kupljeni sistem, ga dobavi naprej pod svojim imenom ali blagovno znamko ali spremeni njegov predvideni namen, se lahko še vedno šteje za ponudnika in zato spada pod strožji sklop obveznosti. Za vsak sistem določite, katero vlogo izpolnjujete, in zabeležite to oceno.

Glavne obveznosti

Za ponudnike sistemov umetne inteligence z visokim tveganjem veljajo obveznosti, vključno s tistimi iz členov 8 do 17, 43 in 47 do 49:

• sistem upravljanja tveganj, ki zajema celoten življenjski cikel
• upravljanje podatkov, vključno z odkrivanjem in popravljanjem pristranskosti v uporabljenih podatkih, vključno s podatki za usposabljanje, validacijo in testiranje
• tehnična dokumentacija v skladu s Prilogo IV in beleženje dogodkov
• jasna navodila za uporabo za izvajalce
• zasnova, ki omogoča učinkovit človeški nadzor
• zahteve glede natančnosti, robustnosti in kibernetske varnosti
• sistem vodenja kakovosti, ugotavljanje skladnosti, izjava EU o skladnosti, oznaka CE in registracija v zbirki podatkov EU

Za visoko tvegane sisteme umetne inteligence, ki se uporabljajo za oddaljeno biometrično identifikacijo, kot je navedeno v točki 1(a) Priloge III, člen 14(5) nalaga dodatno zahtevo glede človeškega nadzora: na podlagi identifikacije se ne sme sprejeti noben ukrep ali odločitev, razen če je ločeno preverita in potrdita vsaj dve fizični osebi s potrebnimi kompetencami, usposabljanjem in pooblastilom. To je znano kot načelo štirih oči.

Za ponudnike veljajo lažje, a nič manj pomembne obveznosti iz členov 26 in 27: uporaba v skladu z navodili za uporabo, nadzor s strani pristojnega človeka, spremljanje delovanja sistema, poročanje o tveganjih in resnih incidentih ter hramba dnevnikov vsaj šest mesecev. Zaposleni, ki bodo delali s sistemom, in osebe, pri katerih se uporablja, morajo biti o tem obveščeni vnaprej.

Nekateri ponudniki morajo opraviti tudi oceno vpliva na temeljne pravice, oceno vpliva na temeljne pravice v skladu s členom 27. To v vsakem primeru velja za osebe javnega prava, zasebne ponudnike javnih storitev in ponudnike, ki uporabljajo sisteme za kreditno točkovanje ali za ocenjevanje zavarovalnih tveganj pri življenjskem in zdravstvenem zavarovanju.

Časovnica in trenutno stanje

Zakon o umetni inteligenci je začel veljati 1. avgusta 2024 in se bo uporabljal postopno. V praksi je pomembno razlikovati med obveznostmi, ki že veljajo, obveznostmi z datumom uporabe v prihodnosti in napovedanimi spremembami, katerih formalni začetek veljavnosti še ni zaključen.

Prepovedane prakse (člen 5): Uporablja se od 2. februarja 2025

Pismenost na področju umetne inteligence (člen 4): Uporablja se od 2. februarja 2025

Splošni modeli umetne inteligence: Velja od 2. avgusta 2025

Obveznosti glede preglednosti (člen 50): uporabljajo se od 2. avgusta 2026; niso odložene

Visoko tveganje prek Priloge III: uporablja se od 2. decembra 2027 po odlogu

Visoko tveganje prek Priloge I: uporablja se od 2. avgusta 2028, po istem odlogu

Ta odlog je ustaljena pravna ureditev. Evropska komisija je 19. novembra 2025 predstavila sveženj Digital Omnibus s predlogom za odlog obveznosti za visoko tvegane sisteme umetne inteligence. Sprememba uredbe, Uredba (EU) 2026/1744, je bila objavljena v Uradnem listu 24. julija 2026 in je začela veljati 27. julija 2026.

Prestavila se je le ureditev z visokim tveganjem. Obveznosti iz poglavja III za sisteme, razvrščene v skladu s Prilogo III, zdaj veljajo od 2. decembra 2027, za sisteme, razvrščene v skladu s Prilogo I, pa od 2. avgusta 2028. Vse ostalo je ohranilo prvotni datum, zato odlog ni povzročil splošne premora v Zakonu o umetni inteligenci.

Odložitev ni brezpogojna, kot bi bila preprosta sprememba datuma. Uporaba obveznosti z visokim tveganjem je povezana z razpoložljivostjo usklajenih standardov in podpornih instrumentov, potrebnih za njihovo skladnost, novi datumi pa delujejo kot skrajna meja te ureditve in ne kot cilj, ki se lahko še bolj premakne. Načrtovanje ob predpostavki še enega podaljšanja zato ni modro.

Dve točki si zaslužita ločeno pozornost. Prvič, obveznosti glede preglednosti iz člena 50 in obveznost pismenosti na področju umetne inteligence iz člena 4 nista bili odloženi: člen 50 se uporablja od 2. avgusta 2026, člen 4 pa od 2. februarja 2025. Drugič, sveženj členu 5 dodaja novo prepoved, ki je namenjena aplikacijam umetne inteligence, ki ustvarjajo intimne posnetke brez privolitve, in gradiv o spolni zlorabi otrok, ki jih ustvari umetna inteligenca.

Za organizacije to pomeni, da je december 2027 datum za načrtovanje dokumentacije z visokim tveganjem, medtem ko so obveznosti glede preglednosti, pismenosti in splošnega namena bolj stvar trenutne skladnosti kot priprave.

Nadzor in kazni

Na Nizozemskem izvedbeni zakon za Zakon o umetni inteligenci še ni v veljavi. Osnutek je bil objavljen v javno razpravo 20. aprila 2026. Nizozemskemu organu za varstvo podatkov (Autoriteit Persoonsgegevens) daje vlogo nadzornika za področja, na katerih ni imenovan sektorski nadzornik, z namensko enoto za umetno inteligenco, nizozemskemu organu za digitalno infrastrukturo (RDI) pa daje koordinacijsko vlogo, medtem ko sektorski nadzorniki ohranjajo svoja področja delovanja. Dokler ta zakon ne bo sprejet in uveljavljen, natančna razdelitev pristojnosti in nacionalni režim kazni nista določena.

Člen 99 zakona o umetni inteligenci določa več najvišjih kategorij kazni. Višina je odvisna od narave kršitve in, kjer je to ustrezno, od letnega prometa podjetja na svetovni ravni. Najvišja najvišja kazen velja za kršitev prepovedanih praks iz člena 5; nižja najvišja kazen velja za kršitev drugih obveznosti, vključno s tistimi za ponudnike in uvajalce visoko tveganih sistemov umetne inteligence; najnižja pa za posredovanje napačnih, nepopolnih ali zavajajočih informacij organom. Za mala in srednje velika podjetja (MSP), vključno z zagonskimi podjetji, velja ugodnejši režim. Dejanska kazen se določi ob upoštevanju veljavnih pravil o kaznih in okoliščin primera.

Praktični načrt

• Popisajte vse sisteme umetne inteligence, ki jih vaša organizacija razvija, kupuje ali uporablja.
• Za vsak sistem določite, katero vlogo opravljate: ponudnika ali izvajalca.
• Določite kategorijo tveganja za vsak sistem in dokumentirajte to oceno, vključno z morebitnim sklicevanjem na izjemo iz člena 6(3).
• Vzpostavite upravljanje umetne inteligence in imenujete odgovornega uradnika.
• Zagotovite pismenost na področju umetne inteligence med zaposlenimi, ki delajo s temi sistemi; ta obveznost že velja.
• Izvajati ukrepe za preglednost iz člena 50; uporabljajo se od 2. avgusta 2026.
• Pravočasno začnite s tehnično dokumentacijo in po potrebi z oceno vpliva na temeljne pravice.
• Pregledajte pogodbe z dobavitelji glede dodelitve vlog, zagotavljanja informacij in pravic do revizije.
• Načrtujte dokumentacijo z visokim tveganjem do 2. decembra 2027 za sisteme iz Priloge III in do 2. avgusta 2028 za sisteme iz Priloge I.

Kaj zakon o umetni inteligenci zahteva od vaše organizacije

Zakon o umetni inteligenci bistveno vpliva na to, kako organizacije razvijajo, kupujejo in uporabljajo umetno inteligenco. Odlog obveznosti z visokim tveganjem kupi čas za najtežji del režima, vendar pusti vse ostalo v veljavi: prepovedi iz 5. člena, obveznost pismenosti na področju umetne inteligence, pravila za modele umetne inteligence splošnega namena in obveznosti preglednosti iz 50. člena veljajo še danes. Pridobljeni čas je najbolje porabiti za klasifikacijo in dokumentiranje, saj so to koraki, ki jih kasneje ni mogoče skrajšati. Za širši pregled uredbe si oglejte naš Popoln vodnik po zakonu EU o umetni inteligenci , ki dopolnjuje osredotočenost tega članka na sisteme umetne inteligence z visokim tveganjem.

Law & More pomaga organizacijam pri popisu in klasifikaciji njihovih sistemov umetne inteligence, določitvi njihove vloge kot ponudnika ali uvajalca, pregledu in pripravi pogodb z dobavitelji umetne inteligence ter vzpostavitvi upravljanja umetne inteligence. Če želite vedeti, katere obveznosti trenutno veljajo za vašo organizacijo in kateri koraki bi morali imeti prednost, nas prosimo kontaktirajte.

Pogosta vprašanja

Spodaj odgovarjamo na vprašanja, ki nam jih na to temo najpogosteje zastavljajo.