Odgovornost za algoritmično pristranskost po nizozemskem in evropskem pravu

Odgovornost za algoritmično pristranskost je pravna odgovornost, ki jo ima organizacija, kadar avtomatiziran sistem povzroči diskriminatorne rezultate. Na Nizozemskem ta odgovornost temelji na treh temeljih, ki veljajo že danes: splošni določbi o odškodninski odgovornosti iz člena 6:162 nizozemskega civilnega zakonika, zakonodaji o enakem obravnavanju, ki jo nadzira Nizozemski inštitut za človekove pravice, in pravilih GDPR o pravičnosti in avtomatiziranem odločanju. Zakon EU o umetni inteligenci dodaja še eno plast, katere del je že v veljavi, del pa se začne uporabljati pozneje v tem desetletju.

Praktična posledica je preprosta. Podjetje, ki uvede filter za zaposlovanje, kreditni model ali oceno za odkrivanje goljufij, je odgovorno za to, kaj ta sistem počne, ne glede na to, ali je model zgradilo samo in ali je kdo nameraval doseči takšen rezultat. V nizozemskem pravu o diskriminaciji šteje učinek odločitve, ne pa motiv, ki stoji za njo.

Kaj odgovornost za algoritmično pristranskost dejansko pokriva

Algoritmična pristranskost nastane, ko avtomatiziran sistem različno obravnava primerljive ljudi na podlagi razlogov, ki jih varuje zakon, ali na podlagi razlogov, ki delujejo kot nadomestek zanje. Redko se oznani. Model, usposobljen na podlagi desetletja lastnih odločitev podjetja, bo reproduciral vzorec, ki ga te odločitve vsebujejo, in to bo počel dosledno, hitro in v vsaki datoteki, ki se je dotakne. Ta doslednost je tisto, kar tehnično napako spremeni v pravno razkritje: ena sama pristranska človeška odločitev je incident, medtem ko je pristranski model politika.

Odgovornost izhaja iz treh ločenih virov in jih je mogoče sprožiti hkrati z isto odločitvijo. Civilna odgovornost odškodnino izplača osebi, ki je utrpela škodo. Zakon o enakem obravnavanju tej osebi daje pot do Nizozemskega inštituta za človekove pravice (College voor de Rechten van de Mens) ali do civilnega sodišča, pri čemer se dokazno breme prenese na organizacijo, ko je podana domneva o diskriminaciji. Zakon o varstvu podatkov daje nizozemskemu organu za varstvo podatkov (Autoriteit Persoonsgegevens) izvršilna pooblastila, ki niso odvisna od vložitve zahtevka posameznika.

Nič od tega ne zahteva posebej izdelanega zakona o umetni inteligenci. Pravila, ki odločajo o teh primerih, so bila napisana, še preden je tehnologija obstajala, in zanjo veljajo brez sprememb.

Kjer pristranskost vstopi v avtomatiziran sistem

Pristranskost ni enkratna napaka, ki bi jo bilo mogoče enkrat preizkusiti. Pojavi se na prepoznavnih točkah življenjskega cikla, vsaka točka pa se preslika na drugačno obtožbo o malomarnosti.

• Podatki o usposabljanju. Zgodovinske odločitve nosijo zgodovinske vzorce. Model, ki je na njih usposobljen, se teh vzorcev nauči kot standarda in ne kot problema, ki ga je treba odpraviti.
• Izbira spremenljivk. Značilnost, ki je videti nevtralna, je lahko tesno povezana z zaščiteno značilnostjo. Poštna številka, ki nadomešča etnično pripadnost, je učbeniški primer in povzroča posredno diskriminacijo, tudi če zaščitena značilnost sama ni bila nikoli zabeležena.
• Način uporabe izhoda. Model, ki se v različnih skupinah neenakomerno obnese, je lahko upravičen kot raziskovalno orodje in neupravičen kot edina podlaga za zavrnitev vloge. Ista ocena, uporabljena na različne načine, ustvari drugačen pravni rezultat.
• Odsotnost spremljanja. Sistem, ki je bil ob zagonu uravnotežen, se spreminja, ko se podatki okoli njega spreminjajo. Že samo neupoštevanje podatkov je v mnogih primerih malomarno dejanje.

Pravno pomembna razlika je med neposredno diskriminacijo, kjer se zaščitena podlaga uporablja odkrito, in posredno diskriminacijo, kjer nevtralno merilo postavlja zaščiteno skupino v slabši položaj. Posredna diskriminacija je lahko upravičena, če je cilj legitimen in so sredstva ustrezna in potrebna, vendar je treba to utemeljitev dokazati, organizacija, ki ne more pojasniti, zakaj njen model uporablja določeno spremenljivko, pa ne bo prišla do tega.

Nizozemska fundacija: odškodninsko pravo in pravo enakega obravnavanja

V primeru tožbe zaradi pristranskosti večino dela opravita dva dela nizozemskega prava, ki odgovarjata na različna vprašanja. Odškodninsko pravo sprašuje, ali je organizacija ravnala malomarno in kolikšna je vrednost izgube. Pravo enakega obravnavanja sprašuje, ali je bil izid diskriminatoren, in to počne z dokaznim bremenom, ki je namerno prijazno do tožnika.

Malomarna namestitev kot nezakonito dejanje

Člen 6:162 nizozemskega civilnega zakonika odgovarja za nezakonito dejanje (onrechtmatige daad), ki ji ga je mogoče pripisati in ki povzroči škodo. Uporaba avtomatiziranega sistema, ki ga organizacija ni preizkusila, potrdila ali spremljala, je lahko sama po sebi nezakonito ravnanje, ne glede na diskriminatorni rezultat. Tožnik mora dokazati dejanje, pripisovanje, škodo in vzročno zvezo med njimi; uporabljeni standard je tisto, kar bi morala storiti skrbna organizacija v enakem položaju.

Kadar sistem prihaja od dobavitelja, organizacija, ki ga je sistem namestila, ni oproščena te dolžnosti. Lahko ima pogodbeni zahtevek zoper prodajalca v skladu s členom 6:74 civilnega zakonika zaradi napake v izvedbi, vendar je to ločena tožba med dvema komercialnima strankama. To ne odgovarja na zahtevek prosilca, ki je bil zavrnjen.

Zakon o enakem obravnavanju in preneseno dokazno breme

Zakon o splošnih pogojih dela in z njim povezani sektorski zakoni, vključno z zakonom o diskriminaciji na podlagi starosti (WGBL) in zakonom o invalidnosti in kroničnih boleznih (WGBH/CZ), prepovedujejo neposredno in posredno razlikovanje na podlagi zaščitenih razlogov. Na področju zaposlovanja člen 7:646 civilnega zakonika dodaja določbe o spolu.

Postopkovno pravilo je tisto, ki odloča v večini primerov. Ko tožnik predloži dejstva, ki utemeljujejo domnevo o diskriminaciji, se breme dokazovanja prenese: organizacija mora nato dokazati, da ni kršila prepovedi. Organizacija, ki ne more pokazati, kaj je njen model tehtal, na katerih podatkih in s kakšnim testiranjem, se tega bremena ne more znebiti. Na tej točki slaba dokumentacija preneha biti notranji problem in postane razlog za izgubo zahtevka.

Pritožbe se lahko vložijo tudi pri Nizozemskem inštitutu za človekove pravice, katerega mnenja niso zavezujoča, vendar se široko upoštevajo in se pogosto uporabljajo kot dokaz v poznejših civilnih postopkih.

Kaj GDPR zahteva od avtomatiziranih odločitev

Splošna uredba o varstvu podatkov ureja iste sisteme z vidika varstva podatkov. Člen 22 daje osebi pravico, da ni predmet odločitve, ki temelji izključno na avtomatizirani obdelavi, vključno s profiliranjem, kadar ima ta odločitev pravne učinke ali nanjo podobno pomembno vpliva. Odločitve o zaposlovanju, kreditiranju in ugodnostih običajno spadajo v ta opis.

Beseda, ki nosi težo, je izključno . Človeška udeležba sprejme odločitev zunaj 22. člena le, če je smiselna: oseba s pooblastilom in informacijami, da pride do drugačnega sklepa, ne pa operater, ki potrdi vse, kar prikaže zaslon. Potrditev se obravnava kot avtomatizirano odločanje.

Ne glede na člen 22 veljata še dve obveznosti. Načelo pravičnosti v členu 5(1)(a) je samostojna zahteva, ki jo diskriminatorni model krši po definiciji, člen 35 pa zahteva oceno učinka na varstvo podatkov pred obdelavo, ki bo verjetno povzročila veliko tveganje za posameznike, kar sistematično profiliranje prosilcev ali strank na splošno je. Najvišja globa za kršitve teh določb je določena v členu 83(5) GDPR na višjo od dvajset milijonov evrov ali štirih odstotkov svetovnega letnega prometa.

Naš pregled varstva podatkov, GDPR, umetne inteligence in velepodatkov podrobneje opisuje, kako te dolžnosti vplivajo na uporabo podatkov v velikem obsegu.

Kaj zakon o umetni inteligenci že zahteva in kaj se začne kasneje

Uredba (EU) 2024/1689, Zakon o umetni inteligenci, ni več predlog. Veljati je začela 1. avgusta 2024 in se uporablja postopno. Od 2. februarja 2025 veljajo prepovedi iz 5. člena, skupaj z dolžnostjo iz 4. člena, da se zagotovi ustrezna raven pismenosti osebja, ki dela s sistemi umetne inteligence. Obveznosti za splošne modele umetne inteligence veljajo od 2. avgusta 2025, prav tako določbe o upravljanju in kaznih.

Režim z visokim tveganjem je del, ki se najbolj neposredno nanaša na pristranskost, in je tudi del, ki je bil preložen. Sistemi umetne inteligence, navedeni v Prilogi III, ki vključujejo sisteme, ki se uporabljajo za zaposlovanje in izbor, za odločitve o napredovanju in odpovedi, za ocenjevanje kreditne sposobnosti in za oceno tveganja v zavarovalništvu, so zdaj 2. decembra 2027 predmet obveznosti glede visokega tveganja. Sistemi z visokim tveganjem, ki so varnostne komponente reguliranih izdelkov v skladu s Prilogo I, sledijo 2. avgusta 2028.

Ko te obveznosti ugriznejo, kodificirajo veliko tega, kar skrbna praksa že vključuje: upravljanje podatkov, usmerjeno v reprezentativne in na napake preverjene nabore podatkov, tehnično dokumentacijo, samodejno beleženje, preglednost do prizadetih ljudi, človeški nadzor, ki je vgrajen v sistem in ne privit, ter oceno skladnosti, preden je sistem dan na trg ali v uporabo. Uvajalci, ne le ponudniki, imajo svoje dolžnosti, vključno z vodenjem dnevnikov in dodelitvijo nadzora pristojnim osebam.

Dve točki sta redno napačno navedeni. Zgornje meje kazni so stopnjevane in ne enotne: za kršitev prepovedanih praks iz 5. člena velja do petintrideset milijonov evrov oziroma sedem odstotkov svetovnega prometa, medtem ko neizpolnjevanje obveznosti z visokim tveganjem ima nižjo zgornjo mejo v višini petnajst milijonov evrov oziroma tri odstotke. Predlagana direktiva o odgovornosti za umetno inteligenco, ki bi olajšala dokazno breme za ljudi, ki so jih sistemi umetne inteligence oškodovali po vsej EU, je bila umaknjena. Ni usklajenega evropskega režima odgovornosti za škodo zaradi umetne inteligence; zahtevek na Nizozemskem je zahtevek po nizozemskem pravu.

Nacionalno izvrševanje se še vedno gradi. Nizozemska še ni dokončala izvedbenega zakona, ki bi določil njene organe za nadzor trga v skladu z Uredbo, čeprav sta nizozemski organ za varstvo podatkov in nizozemski organ za digitalno infrastrukturo prevzela usklajevalno vlogo pri pripravljalnem delu. Okvir podrobneje obravnavamo v našem vodniku o pravnem vidiku umetne inteligence in Zakonu EU o umetni inteligenci.

Primerjava treh okvirov

Okvira se prekrivata, namesto da bi konkurirala. Ena zavrnjena vloga lahko na podlagi istih dejstev povzroči civilno tožbo, pritožbo inštitutu, regulativno preiskavo in sčasoma tudi neizpolnjevanje obveznosti iz zakona o umetni inteligenci.

Kaj so ugotovili nizozemski primeri

Dva dogodka oblikujeta način, kako nizozemska sodišča in regulatorji pristopajo k avtomatiziranim odločitvam, in oba govorita o isti napaki: nepreglednem sistemu, ki se uporablja za ljudi, ki niso mogli videti, kako deluje.

Februarja 2020 je okrožno sodišče v Haagu ustavilo sistem SyRI, sistem za označevanje tveganja, s katerim javni organi združujejo podatke iz različnih virov za odkrivanje goljufij na področju prejemkov in davkov. Sodišče je razsodilo, da zakonodaja, na kateri temelji sistem, ni prestala testa pravičnega ravnovesja v skladu s členom 8 Evropske konvencije o človekovih pravicah. Usodna ni bila uporaba analize podatkov kot taka, temveč odsotnost preglednosti in preverljivosti: niti model tveganja niti kazalniki niso bili razkriti, zato niti prizadeti državljan niti sodišče nista mogla preveriti diskriminatornega učinka. Nauk za zasebne organizacije je, da sistema, ki ga nihče ne more razložiti, ni mogoče braniti, ker stranka, ki ga upravlja, nosi breme utemeljitve.

Škandal z dodatki za varstvo otrok (toeslagenaffaire) je s svojimi posledicami poudaril isto. Davčna uprava je uporabila avtomatizirano izbiro tveganja, ki je kazalnike, kot je dvojno državljanstvo, obravnavala kot znak goljufije, in desettisoči staršev so bili napačno označeni in preganjani zaradi povračila. Nizozemski organ za varstvo podatkov je ugotovil, da je bila osnovna obdelava nezakonita in diskriminatorna, ter uvedel izvršilne ukrepe. Potrdila je tudi načelo, ki je tukaj najpomembnejše: obramba, da je sistem ustvaril rezultat, nima teže, saj je že sama odločitev za upravljanje sistema dejanje, ki se presoja.

Kjer odgovornost nastane v običajni poslovni rabi

Večina izpostavljenosti nikoli ne doseže prelomne odločitve. Pojavi se pri znanih operativnih odločitvah.

Filter za zaposlovanje, usposobljen na podlagi zgodovine zaposlovanja v organizaciji, se bo naučil vseh preferenc, ki jih je ta zgodovina vsebovala, in jih uporabil za vsakega naslednjega kandidata. Ker so orodja za zaposlovanje neposredna sodba v Prilogi III Zakona o umetni inteligenci in se hkrati dotikajo 22. člena GDPR, privlačijo vse tri okvire hkrati. Kreditni ali zavarovalniški model, ki uporablja poštno številko, vrzel v zgodovini zaposlovanja ali približek podobne narave, lahko povzroči posredno diskriminacijo, tudi če nabor podatkov sploh ne vsebuje nobene zaščitene značilnosti. Sistem upravljanja delovne sile, ki dodeljuje izmene, spremlja uspešnost ali prispeva k odločitvam o odpovedi, spada v isto kategorijo, z dodatnim zapletom, da ima lahko svet delavcev pravico do soglasja v skladu z Zakonom o svetih delavcev, preden je tak sistem uveden.

V obeh primerih je vprašanje, ki ga postavlja nizozemsko sodišče, enako. Kaj je organizacija vedela o delovanju sistema, kaj je storila, da bi to ugotovila, in kaj je storila, ko je vzorec postal viden?

Prodajalec in izvajalec: kdo je za kaj odgovoren

Z nakupom sistema se tveganje ne prenese z njim. V skladu z zakonom o umetni inteligenci imata ponudnik in ponudnik ločene dolžnosti, v skladu z nizozemskim civilnim pravom pa oškodovana oseba toži tistega, ki je sprejel odločitev, ki jo je prizadela, kar je skoraj vedno organizacija, ki ga je namestila.

Pogodbe lahko razdelijo finančne posledice in zavarujejo informacije, potrebne za obrambo pred zahtevkom. Pogodbena pogodba o javnem naročanju, ki jo je vredno imeti, določa merila delovanja in pravičnosti, ki jih mora sistem izpolnjevati, zagotavlja dostop do dokumentacije, rezultatov testov in dnevnikov, daje pravico do revizije, od dobavitelja zahteva, da sporoči bistvene spremembe modela, in določa, kako se delijo stroški odgovornosti in obrambe v primeru zahtevka. Česar pogodbe ne morejo storiti, je odpraviti regulativno globo ali zakonsko obveznost. Naš članek o tem, kdo je odgovoren za napake, ki jih povzroči umetna inteligenca, podrobneje obravnava to razporeditev.

Nadzor tveganja pred prejemom odškodninskega zahtevka

Obrambni položaj v primeru trditve o pristranskosti se gradi že dolgo pred vložitvijo trditve in je skoraj v celoti sestavljen iz zapisov. Ker se dokazno breme prenese, ko se ugotovi domneva o diskriminaciji, je organizacija, ki lahko dokaže, kaj je preizkusila, kdaj in kaj je storila z rezultatom, v bistveno drugačnem položaju od tiste, ki tega ne more storiti.

Izvedljiv program ima štiri elemente. Testiranje pred uvedbo, primerjava stopenj rezultatov med skupinami, ki jih varuje zakonodaja, in pregled učnih podatkov in izbranih spremenljivk za približke. Nadaljujte s testiranjem po uvedbi, saj model, ki je bil uravnotežen ob zagonu, takšen ne bo ostal. Dajte eni imenovani osebi ali odboru pooblastilo za pregled rezultatov in začasno ustavitev sistema, tako da je odločitev o nadaljnjem delovanju odločitev, ki jo je nekdo sprejel, in ne privzeta nastavitev, za katero nihče ne odgovarja. In vse to zabeležite, vključno z viri podatkov, validacijo, ugotovitvami revizije in korektivnimi ukrepi, v obliki, ki jo je mogoče predložiti regulatorju ali predložiti v postopku.

Poleg tega naj bo človeška odločitev resnično človeška, kadar velja 22. člen, naj bo ocena vpliva na varstvo podatkov opravljena pred zagonom sistema in ne pozneje, naj preveri, ali ima delavski svet kakšno vlogo, in naj bo mogoče prizadeti osebi v preprostem jeziku povedati, zakaj je bila odločitev sprejeta tako, kot je bila. Noben od teh korakov ni eksotičen, režim visokega tveganja Zakona o umetni inteligenci pa bo večino od njih od decembra 2027 v vsakem primeru naredil obvezne za sisteme zaposlovanja, kreditiranja in zavarovanja. Organizacije, ki jih gradijo zdaj, preprosto prihajajo prezgodaj.

Kaj storiti, če je odločitev izpodbijana

Ko prosilec, stranka ali zaposleni podvomi v avtomatizirano odločitev, je prva naloga dejanska: ugotoviti, kaj je sistem v tem primeru dejansko storil, katere vhodne podatke je uporabil, ali je oseba uporabila resnično presojo in ali se izid ujema s širšim vzorcem. To storite, preden odgovorite, saj je netočen prvi odgovor kasneje težko popraviti in bo bremenil organizacijo.

Ohranite dnevnike in zadevno različico modela. Zahtevek ocenite glede na vse tri okvire in ne glede na tistega, na katerega se je pritožnik skliceval, saj lahko pritožba glede varstva podatkov in zahtevek zaradi diskriminacije izhajata iz iste datoteke. Če je vzorec resničen, je njegovo odpravljanje in odprava prizadetih odločitev veliko učinkoviteje omejila škodo kot obramba pred njim.

Law & More svetuje podjetjem glede pravnega vidika avtomatiziranega odločanja: ocenjevanje izpostavljenosti v skladu z nizozemskim pravom o odškodninski odgovornosti in enakem obravnavanju, pregled skladnosti z GDPR za profiliranje in avtomatizirane odločitve, priprava na obveznosti Zakona o umetni inteligenci, ki veljajo za sisteme zaposlovanja, kreditiranja in zavarovanja, pogajanja o pogodbah s prodajalci ter obramba pred zahtevki in regulativnimi preiskavami. IT-odvetniki z veseljem se bomo pogovorili o tem, kako pravila veljajo za sisteme, ki jih uporabljate.

Pogosto zastavljena vprašanja o odgovornosti za algoritmično pristranskost

Ko se podjetja poglobljeno poglabljajo v umetno inteligenco, si mnogi vodje postavljajo zelo specifična vprašanja o odgovornosti. Spodaj bomo obravnavali nekatera najpogostejša in najzahtevnejša vprašanja ter vam ponudili jasne odgovore, ki vam bodo pomagali pri krmarjenju po tem zapletenem pravnem področju.