Rasistiske algoritmer

Algoritmer har en stadig større innvirkning på livet vårt. Ofte anses de matematiske oppskriftene som ren vitenskap som tar beslutninger rettferdig og effektivt, frie fra menneskenes mørkere sider som rasisme, fordommer og kvinnehat. Men slik er det dessverre ikke.

Den 1. juli 2013 brøt en maskert mann inn i hjemmet til en kvinne i byen Bakersfield i California. Innbruddsmannen bandt fast kvinnen og barna hennes med buntebånd og voldtok kvinnen.

Politiet vendte seg da til TrueAllele, en algoritme.

Da en liknende forbrytelse skjedde i den lille byen kort tid etter, begynte politiet å mistenke at de hadde med en serievoldtektsmann å gjøre.

Flere forbrytelser med samme forløp fant sted i løpet av få uker. Hver gang var forbryteren ikledd et hodeplagg og en svart ranerlue, og brøt seg inn hos kvinnene på natta mens de lå og sov. Ofrene var kvinner med barn. Ved å true barna fikk han kvinnene til å gjøre som han ville.

Lokalnyhetene begynte å kalle mannen «The East Side Rapist» ettersom han slo til på østkanten av byen. På under to måneder ble seks kvinner voldtatt og et barn seksuelt utnyttet.

Til å begynne med kom politiet ingen vei med saken, men utredningen fikk et gjennombrudd da en mann som kjørte med utgått førerkort, ble tatt i en rutinekontroll. Mannen – som heter Billy Ray Johnson – hadde et knokejern i bilen og var tidligere dømt for innbrudd og kvinnemishandling i en nær relasjon.

Ved å spore mannens mobiltelefon kunne han plasseres i nærheten av åstedene i tiden før innbruddene og voldtektene ble begått, men det var vanskelig å fysisk knytte ham til forbrytelsene.

Myndighetene fant DNA på flere av åstedene, blant annet litt blod på et håndkle og rester av DNA på en vase og et buntebånd. Men vanlig DNA-analyse kunne ikke brukes da sporene var enten for vage eller fordi det var snakk om en blanding av flere menneskers genetiske spor. Politiet vendte seg da til TrueAllele, en algoritme.

Resultatene fra algoritmen TrueAllele var en sentral del av bevisføringen.

Den kompliserte algoritmen, som består av om lag 170 000 koderekker, mates med DNA-data og utfører det som kalles «probabilistic genotyping» – den anslår hvor sannsynlig det er at et visst menneskes DNA finnes i en blanding av ulike menneskers genetiske spor.

I tilfellet med Billy Ray Johnson kom algoritmen fram til at sjansen for at DNAet i en av prøvene kom fra noen andre enn akkurat Billy Ray, var en av 211 kvintillioner. Billy Ray Johnson ble dømt for 24 forskjellige forbrytelser, hvorav tre var voldtekter, til livstid i fengsel samt 423 år uten mulighet for løslatelse.

Resultatene fra algoritmen TrueAllele var en sentral del av bevisføringen. Etter dommen sa aktor i saken at hun var svært fornøyd med at det «sadistiske monstret» skulle tilbringe resten av livet sitt bak lås og slå. Men langt ifra alle var fornøyde.

På den andre siden av landet, i et kontor i New York, fulgte urolige øyne med på rettsaken.

Billy Ray Johnson har erkjent en lang rekke lovbrudd, over 100 innbrudd bare i sommeren 2013, men han påstår at han aldri har voldtatt noen. Algoritmen, derimot, plasserer ham ved åstedene. Johnsons forsvarsadvokat har krevd å få se på koden som knytter klienten hans til forbrytelsene. Men han nektes å få se den.

Algoritmer er hverken onde eller gode, de er verktøy og ofte er de effektive.

Algoritmen eies nemlig av Cybergenetics, et privat selskap som sier at den komplekse koden er en bedriftshemmelighet. De tjener jo penger på den – ifølge et rettsdokument koster lisensen for å bruke TrueAllele 60 000 dollar, ca. 500 000 norske kroner.

Hvis selskapet skulle vise den til verden, ville de miste den unike posisjonen sin på markedet. Nettopp dette at koden, som har en så fatal innvirkning på menneskers liv, er hemmelig, vekker uro hos mange. Et produkt som ingen andre enn selskapet bak det vet hvordan fungerer, sender folk i fengsel.

– Algoritmer er hverken onde eller gode, de er verktøy og ofte er de effektive. Vi er ikke imot algoritmer. Men når de tar såpass viktige beslutninger vedrørende menneskers liv, og særlig når regjeringen bruker dem for å ta de beslutningene, må offentligheten ha tilgang på dem, sier juristen Vera Eidelman.

Hun har sendt inn en klage mot saken «The People of the State of California vs. Billy Ray Johnson». Vi møter henne på arbeidsplassen hennes i American Civil Liberties Unions lokaler i en enorm skyskraper på sørlige Manhattan i New York. Hun har nylig fått et nytt kontor der hun tar imot oss.

Algoritmer bistår i å domfelle forbrytere, bevilge eller nekte lån.

Hun mener at Billy Ray Johnson frarøves sin konstitusjonelle rett til å kunne granske og stille spørsmål til bevisene som føres mot ham, når hverken han eller forsvaret hans får innsyn i algoritmen som har vært med på å få Johnson dømt til å tilbringe resten av livet bak murene.

– Jeg tror at en av farene er at når man bruker ordet algoritme, så «tech-vaskes» beslutninger, plutselig virker de objektive, feilfrie og «sanne». I virkeligheten er algoritmer bare et sett av instruksjoner, og når de programmeres – av mennesker – kan en uendelig rekke feil og fordommer skrives inn i dem, sier Vera Eidelman.

Den kjente persiske matematikeren Mohamed Al-Khawarizmi virket i første halvdel av 800-tallet i Bagdad i Irak og kan kalles algebraens far. Vi vet lite om livet hans, men de viktige bøkene hans om matematikk og astronomi har blitt bevart. Algoritmen har fått navnet sitt etter Al-Khawarizimi.

En algoritme er et sett av instruksjoner som beskriver hvordan man med et bestemt antall steg løser et problem eller foretar en utregning. Algoritmer har blitt brukt i tusenvis av år. Den første kjente algoritmen for å multiplisere to tall ble utviklet av egyptere ca. 2000 år f.Kr.

I dag er algoritmer en del av hverdagen vår. De påvirker oss hele tiden.

Men det var først på 1800-tallet, samtidig med at maskinteknikken ble utviklet, at algoritmer begynte å utvikles mot det de er i dag. Et av de viktigste stegene stod engelskmannen George Boole for da han skapte det som kalles Boolsk algebra, som løser problemer gjennom å representere logikkens to sannhetsverdier, sant og falskt, med to tall: 1 og 0.

Dette ble grunnlaget for dagens databaserte algoritmer, og det er fra Boolsk algebra dataverdens kjente ett-tall og nuller stammer fra.

I dag er algoritmer en del av hverdagen vår. De påvirker oss hele tiden – hvilke annonser vi ser på internett, hvor i rekken vårt siste Instagram-innlegg havner i feeden til følgerne våre, hvor vi plasseres i visse telefonkøer (jo mer verdifull du regnes som kunde, jo bedre plassering), hvilke lenker som kommer opp når du søker på Google (selskapets søkealgoritme sies nå å ha slått Coca Cola-oppskriften i å være den best beskyttede bedriftshemmeligheten i verden) og matcher deg med den neste personen du skal forelske deg i.

Algoritmer bistår i å domfelle forbrytere, bevilge eller nekte lån, og avgjøre hvor politiet skal patruljere. Og som allerede nevnt, finne bevis mot forbrytere.

Husker du legen David Dao? Den eldre mannen som ble slept blodig av det overbookede United-flyet 3411 mot Kentucky i Chicago i fjor? Vektere tvang ham av flyet foran en lang rekke filmende mobiltelefoner og forskrekkede medpassasjerer. Filmklipp fra hendelsen gikk virale (et av dem ble vist 6,8 millioner ganger på en dag) og førte til massiv protest og opprørte reaksjoner fra allmennheten.

Hvem hadde egentlig bestemt at Dao skulle kastes ut? En algoritme.

Mange stilte spørsmålet om rasisme lå bak beslutningen om å kaste ut nettopp den vietnamesisk-kinesiske mannen David Dao. Hvem hadde egentlig bestemt at Dao skulle kastes ut?

En algoritme.

Antakeligvis plukket dataen, med hjelp av informasjon om alle passasjerene, fram en liste over passasjerer som kunne kastes av flyet. Men nøyaktig hvordan beslutningen ble tatt, er ikke offentliggjort. Og faktumet at en algoritme sto bak beslutningen, utelukker på ingen måte at rasisme kan ha vært en avgjørende faktor.

Algoritmer anses ofte som matematikk og vitenskap, uavhengig av menneskers fordommer. Men de kan også være rasistiske, sexistiske, fordomsfulle eller på andre måter farget av menneskers mindre positive sider.

I 2016 publiserte den amerikanske gravende nyhetsorganisasjonen ProPublica en artikkel om det amerikanske rettssystemet som forandret debatten om algoritmer, fordommer og maskinlæring for alltid.

Artikkelen handlet om risikovurdering og undersøkte en algoritme ved navn «Compass» som brukes ved amerikanske domstoler for å beregne risikoen for at arresterte mennesker skal begå nye forbrytelser i framtida.

Data er historie fortalt med tall.

Resultatet brukes av dommere rundt om i USA for å avgjøre alt fra kausjon til straff. Undersøkelsen viste at algoritmen er rasistisk. Programmet utpekte feilaktig svarte personer som sannsynlige framtidige overgripere dobbelt så ofte som hvite. Og likeså motsatt: Programmet utpekte feilaktig hvite personer som lavrisiko-individer i større grad enn svarte.

– Artikkelen fikk ting til å eksplodere. New York Times, Forbes og mange andre begynte å skrive om det. Folk innen forskningsfeltet fikk derfor press på seg, og ikke bare allmennheten lærte mer om problematikken rundt algoritmer, men det førte også til at flere som studerte maskinlæring begynte å interessere seg for rettferdighetsaspektet, sier Berk Ustun, forsker med maskinlæring og rettferdighet som spesialfelt ved Harvard Universitet i Boston.

Når data brukes i algoritmer for å fatte beslutninger, bygger de på historie. Data er historie fortalt med tall. Det betyr at det eksisterer en risiko for at feilene som finnes i verden, for eksempel rasisme, sexisme, kvinnehat, aldersdiskriminering og fordommer, bygges inn i algoritmene og kan til og med forsterkes av dem.

I blant dytter de verden ytterligere i den retningen den allerede var på vei, som i sin tur skaper ny skjev data som mates inn i algoritmen igjen – en såkalt «feedback loop».

Når jeg spør henne hvorfor, svarer hun kort: – Sexisme.

Et eksempel: I visse byer i USA (for eksempel Los Angeles) bruker politiet data og algoritmer til å forutse hvor lovbrudd kommer til å skje, og utplasserer politipatruljene deretter – såkalt forebyggende overvåkning.

Men dataen over for eksempel antallet arrestasjoner som gjøres i et område, kan være skjev fra begynnelsen av på grunn av at et politihus med overvekt av hvite ansatte eksempelvis oftere arresterer svarte mennesker enn hvite.

Politipatruljer sendes så til svarte områder. Hele modellen vil da gjøre en allerede skjev og urettferdig verden enda skjevere, mens den på papiret framstår som effektiv.

Meredith Broussard jobber ved New York Universitet. Hun kom nylig ut med boka Artificial Unintelligence: How computers misunderstood the world. Tidligere jobbet hun innen teknologi som programmerer, men sluttet og ble journalist. Når jeg spør henne hvorfor, svarer hun kort:

– Sexisme.

Jeg ber henne om å utdype.

– Alt du har hørt om teknologiverdenen, all forskningen som finnes om atferd og sosiale krefter som får kvinner og POC («People of Colour») til å forlate naturvitenskapelige felt, er sant, sier hun.

Et av problemene med mange av de algoritmene som omgir oss, bunner i nettopp dette – at Silicon Valley og resten av teknologiverdenen domineres av hvite menn. Homogene team har ikke kapasiteten, nærværet eller innputten som trengs for å kunne løse de mest komplekse sosiale problemene våre, hevder Broussard.

Og kanskje ikke enklere problemer heller.

Hun har en sterk tro på at algoritmer kan hjelpe oss å forbedre verden.

Et eksempel fra virkeligheten er hvordan MIT-forskeren Joy Buolwamini oppdaget at face detection-programmer, altså softvare som identifiserer ansikter, slet med å gjenkjenne svarte kvinner. I et kjent eksperiment viste hun at et slikt program kunne lokalisere hennes eget ansikt kun når hun hadde på seg en hvit maske.

En av årsakene var at når maskinene hadde blitt opplært, hadde de blitt matet med altfor få bilder av svarte kvinner og dermed ikke lært seg å gjenkjenne dem.

I boka si skriver Meredith Broussard om det hun kaller «techno-sjåvinisme» – forestillingen om at teknologi er løsningen på alt og at teknologi alltid gjør ting bedre.

Det er mye mer penger i det kjappe enn i det forsiktige.

– Datavitenskap stammer fra matematikken. Og matte har i århundrer vært preget av en idé om at matematikk er det man kan regne seg fram til, mens sosiale faktorer ikke spiller noen rolle. Datavitenskapen har arvet denne forutinntatte ideen.

Derfor tror visse folk innen datavitenskapen at matte- og ingeniørdelen av teknologiproblemene er mye viktigere enn sosiale faktorer. De bryr seg ikke om sosiale faktorer i det hele tatt. Og når dette synet siver inn i teknologien, får vi et problem.

Meredith Broussard har tro på teknologi, data og algoritmer. Hun bruker det selv i arbeidet sitt som journalist. Hun skrev eksempelvis koder for å hjelpe journalister med å grave i kampanjefinansieringen til presidentvalget i 2016. Hun sier at det er fullt mulig å bruke algoritmer på en positiv måte og at det er fullt mulig å konstruere velfungerende, etisk stabile algoritmer.

Hvis man ikke setter et tall på noe, så finnes det ikke i disse systemene.

Men det krever ofte tid og ettertanke, nøye kontroll og utførlige tester. Hun peker på et annet problem med dette.

– Det er mye mer penger i det kjappe enn i det forsiktige. Risikokapitalister blir ikke begeistret over å satse penger på noen som sier: «Jeg skal starte en bedrift og om fem år kommer vi til å ha en svært etisk og nøye konstruert kode». Risikokapitalister tiltrekkes av dem som sier: «Vi skal ut på markedet om seks måneder, og vi kommer til å gjøre alt som skal til for at det skal skje!» Dette er et problem som henger direkte sammen med hvordan kapitalismen fungerer, og det viser at det frie markedet ikke kan løse alle problemer, sier Broussard.

Forskeren Alexandra Chouldechova, som til vanlig holder til i Pittsburgh, har tilbrakt tre måneder som gjesteforsker i Microsoft-bygget ved Charles-elva i Cambridge. Vi møter henne på en øde tolvte etasje. Utenfor vinduene pøser et kaldt høstregn ned på Boston på den andre siden av elva. Hun har en sterk tro på at algoritmer kan hjelpe oss å forbedre verden, men det finnes så klart noen varsellamper.

– Noe av det som bekymrer meg mest med utviklingen, er at disse modellene krever svært presise problemformuleringer, sier hun.

Hun tar eksemplet med «predictive policing» – algoritmer som forsøker å forutse hvor lovbrudd vil begås.

– Hva er målet til politiet? Å redusere lovbrudd. Men det er også noe annet. Interaksjonen mellom politi og innbyggere, befolkningens følelse av sikkerhet og trygghet, og troen deres på rettferdighet – overbevisningen om at det er berettiget at politiet overhode finnes. Men dette er svært vanskelig å kvantifisere.

Du mener at tall mangler sjel.

En utfordring består altså i hva som er målbart og ikke. Det man kan måle er ikke nødvendigvis det som er best for kollektivet. Og det er et stort problem.

– Hvis man ikke setter et tall på noe, så finnes det ikke i disse systemene. Det kan være slik at disse tingene henger tett sammen med noe man kan sette et tall på. Minskede kriminalitetsnivåer henger kanskje til en viss grad sammen med en økt følelse av trygghet. Men ikke direkte. Det er ikke hele historien. Kanskje går faktorer som er av en annen verdi tapt? Og spørsmålet er – er det dit vi vil som samfunn? sier Chouldechova.

Tenk om vi går mot en framtid der vi i jakt på det ultimate samfunnet har kodet bort de mellommenneskelige verdiene som er vanskelige å definere, men er det som gjør oss menneskelige? Tenk om vi fullstendig koder bort det vi gjerne kaller «sjel»?

I Billy Ray Johnsons tilfelle forandret en algoritme alt.

Noen dager senere snakker jeg med Suresh Venkatasubramanian, professor på School of Computing på Utah Universitet. Jeg utfordrer ham med påstanden om at noen ting kanskje går tapt hvis vi legger for stor vekt på algoritmers evne til å løse problemer for oss. Han svarer at det kanskje er mine egne fordommer som får meg til å stille spørsmålet.

– Jeg tror at spørsmålet ditt har noen forutinntatte meninger innbakt i seg. Du mener at tall mangler sjel. Men data er bare en linse vi ser verden gjennom; det er en måte å fortelle historier om oss selv på, og data har eller har ikke sjel like mye som en historie kan ha eller ikke ha det. Å studere algoritmer er et veldig kreativt felt, og jeg tror at det er frykten for det ukjente som gjør at slike spørsmål dukker opp, sier han.

Han har rett – algoritmer framstår i stor grad som noe ukjent. Noen av dem er ufattelig komplekse strukturer som bare et fåtall mennesker kan forstå seg på. Mange av de som har lagd dem vet ikke engang nøyaktig hvordan de kommer fram til konklusjonene sine. Men likevel har de en innvirkning på livet vårt på uendelig mange måter.

I Billy Ray Johnsons tilfelle forandret en algoritme alt, og ingen vet hvem som står for tur. Jeg spør Suresh Venkatasubramanian hvordan han ser på framtida.

– Noen dager er jeg optimistisk. Det finnes en appetitt for diskusjon, mulighet for forandring, folk som vil lytte. Andre dager, derimot, kjenner jeg en uro over at alle fordommene, urettferdighetene og problemene våre har eksistert i for lang tid, og det er hybris av oss å tro at vi kan gjøre noe med det, og at det eneste som skjer er at vi institusjonaliserer det som allerede har skjedd. At vi skriker i vinden. At ingen hører oss.

(Oversatt fra svensk av Sigrid Strømmen.)