Datadrevet innovasjon - Juss, moral og maskiner

Juss, moral og maskiner

En ting er hva som er mulig og nyttig å gjøre, men er det lovlig og moralsk riktig å gjøre det? Her snakker vi om lovverk, forklarbarhet og partiskhet.

Bilde av Ingunn Moen

Ingunn Moen

IT-strategisk rådgiver

Bilde av  Kristin Wulff

Kristin Wulff

Nærings-PhD og rådgiver

I den nasjonale strategien om bruk av kunstig intelligens, står det: *"Kunstig intelligens i Norge skal bygge på etiske prinsipper, respekt for personvernet og god digital sikkerhet."* Virksomhetene vi har snakket med, mange av dem banker, har en fordel i at vi i Norge har ganske høy tillit til både offentlig sektor og banker. Denne tilliten er det smart at vi ikke risikerer.
Flere av de vi har snakket med nevner at regelverk, som for eksempel GDPR, kan være til hinder. I følge GDPR skal det bare samles inn persondata som er nødvendig for at personen skal få gjort sin oppgave på nettstedet, og det skal gis samtykke for innsamling av data. En person skal kunne be om å få slettet sine data, og hen skal kunne be om forklaring på en beslutning som er tatt. Alt dette er de vi har snakket med enig om er fornuftig, men en utfordring. De som har kommet lengst, er opptatt av GDPR og at det skal være riktig: "Men vi er også ekstremt opptatt av GDPR og personopplysninger og en sånn del ting. At vi ikke blander roller her." (Dag, DNB)
I bankbransjen finnes regelverk som skal spille sammen med GDPR:
dag-dnb-juss-og-moral.mdx
Det er også noe Helene i SB1 nevner. Og i forsikring er det regler som man må kunne godt. Chief Data Officer Isabel foreslår at alle som skal jobbe med maskinlæring må være skikkelig god på regelverk: "I wanted to train everybody in for instance GDPR, so they knew what they were doing", og TietoEvry tipser om at regulering er nødvendig, for da vet du hva du har å forholde deg til:
sebastian-evry-juss-og-moral.mdx
De vi har intervjuet oppfordrer også til å tenk selv, på hva som er fornuftig:
lars-svv-juss-og-moral.mdx
Et tips som flere nevner er å lage en form for datakatalog: en oversikt over hvilke data som er samlet inn og hvorfor, og hvordan de er brukt.
tomas-svv-juss-og-moral.mdx
Norge har en retningslinje som sier at data om sportsfiske skal sendes en gang i måneden, noe som gjorde at de måtte stoppe varslingsappen de hadde laget for sportsfiskere, der fiskeren kunne registrere fangst fortløpende. Det var selvsagt aldri meningen at retningslinjene skulle stå i veien for en effektiv rapportering, men sånn kan det gå når teknologien utvikles raskere enn retningslinjene.
bjørn-fdir-juss-og-moral.mdx
Lovverket bør gjenspeile hva man ønsker å oppnå, for eksempel "å vite hvor mye som er fanget og av hva", sånn at det ikke detaljregulerer på en måte som hindrer effektiv dataflyt. De som lager lover burde jobbe sammen med teknologene som skal implementere regelverket, sånn at det blir teknisk mulig å få ut endringer raskt.
Forklarbarhet
Dyp læring er den delen av maskinlæring som gir veldig gode prediksjoner, men også der det er vanskeligst å se hva beslutningene som kommer ut er basert på. Det gjør at reglene som skal følges kan være vanskelig å følge. Det er nødvendige og gode retningslinjer, som de gjerne vil følge. Men det er en utfordring å kunne for eksempel forklare hvorfor maskinen har tatt et valg. I SpareBank 1 Kreditt tenker de på det "Hvor mye kan du bare si "Computer says no"", sier Lars. Og videre sier han at "Jeg ser i hvert fall en utfordring der. Ofte sier vi at det er en generell betraktning av de økonomiske forholdene. Men som kredittrådgiver, så må jo en maskinlæringsmodell i hvert fall fortelle dem noe om hvorfor. Hvis ikke så tror jeg at det kan bli tungt."
Det vil være bortimot umulig å kunne forklare nøyaktig hva en maskinlæringsmodell har "tenkt" når det er mange ledd i å komme frem til svar, og kanskje mange ulike datakilder. Det er ikke et krav fra myndighetene å kunne forklare hele kjeden, men du skal kunne fortelle hva slags data som er brukt som grunnlag, hvorfor de er relevante, og i grove trekk hvordan modellen jobber. Det er et godt tips å begynne å dokumentere med en gang: hva du samler inn av data, hvorfor du tenker det er relevant, og hvordan du utvikler og trener modellene. I god GDPR-skikk må du også legge opp til at en bruker kan be om å få innsyn i sine data, og slettet sine data, fra starten.
Geir Olav, CTO i SR-Bank understreker at viktigheten av at dette må tas alvorlig.
geir-olav-srbank-juss-og-moral.mdx
Vi har ikke noe gode sitat på løsning, men i nasjonal strategi står det: *"Samtidig gjøres det mye forskning på området «forklarbar KI»* («Explainable AI») som nettopp tar sikte på å gjøre «sort boks»-algoritmer forståelige. Dette er ikke det samme som å publisere koden bak algoritmen, eller å gi innsyn i fullstendige treningsdatasett, da en slik tilnærming vil kunne bryte med både opphavsrett og personvern. Forklarbar KI kan i stedet analysere hvilke data som har hatt betydning for resultatet, og hvor stor betydning de ulike elementene har hatt, for slik å forklare logikken bak resultatet.
isabel-gomez-juss-og-moral.mdx
Før vi har fått til gode (nok) forklaringer på hvordan en beslutning har blitt tatt, kan det være lurt at maskinlæringsalgoritmen varsler mennesker om det den tror er avvik, sånn som de gjør hos Aditro. Algoritmen finner potensielle feil, men retter dem ikke selv. For å kunne bruke maskinlæring og samtidig opprettholde krav til transparens forskes og eksperimenteres det mye med det som kalles Explainable AI.
øyvind-fremtind-juss-og-moral.mdx
Men samtidig så er det kanskje grenser for hva slags krav det er naturlig å stille til teknologien. Vi ble minnet på at mennesker gjør mye rart de også...
øyvind-fremtind-juss-og-moral-2.mdx
Og dette med å vise fram at mennesker også gjør feil kan være viktig å gjøre når man skal prøve å forbedre noe med teknologi. På den måten kan man sikre at man får et reelt sammenligningsgrunnlag.
linn-dnb-juss-og-moral.mdx
Partiskhet
Reglene om løgn, forbannet løgn og statistikk gjelder også innenfor AI-feltet. Man kan misbruke kunstig intelligens til å få fram sitt syn, noen ganger bevisst og andre ganger ubevisst. Problemet har mange navn: bias, partiskhet, utvalgsskjevhet, slagside, skjevhet (confirmation bias), fordomsfulle algoritmer. Felles for alle begrepene er at de forteller om et både gammelt og nytt problem. At folk har brukt data for å presentere virkeligheten til fordel for dem selv skjedde før og det skjer nå. Det betyr at vi alle må være årvåkne og at vi som er involvert i å sette opp maskinlæringsløsninger må passe på slik at de valgene som tas er gode.
tomas-svv-juss-og-moral-2.mdx
En stor etisk problemstilling innenfor kunstig intelligens er at når vi trener modeller basert på de dataene vi har, trenes modellene opp til å ta samme skeive valg som vi mennesker tar. Det er bare det at skjevhetene blir forsterket med større datamengder. Mange har hørt om roboten som avviser kvinnelige søkere til jobber hos Amazon. Men også i virksomhetene vi har intervjuet er det noe de er oppmerksom på, for eksempel Tomas, fagansvarlig for automatisering i Statens vegvesen, som sier: "så systemet lærer jo også av våre feil, og der manglet vi en god nok sånn evalueringsloop for å få det til å bli bra. Men det var ingen som på en måte opp igjennom i systemet skjønte det der at AI kan jo også lære av våre feil"
Samtidig er en av begrunnelsene for å la en maskin jobbe med data, er at hvis vi har datasett med god kvalitet og riktig innhold, og gode algoritmer, kan maskinene være mer upartiske enn det mennesker underbevisst er. Altså kan kunstig intelligens redusere skjevhet. Hvis det er laget på gode treningsdata så kan en AI-løsning være mindre partisk enn mennesker. I vårt datasett fra samtalene fant vi ikke eksempler på at data og algoritmer brukes aktivt for å redusere diskriminering. Fra Kina kjenner vi eksempler på at folk som ellers ikke ville fått lån kan få det likevel fordi banken får tilgang til bredere opplysninger om personen og dens økonomiske stabilitet. Det kan for eksempel være oppdatert informasjon om firmaet de driver eller verdien på eiendommene de har eller generelt inntektsnivå i den bransjen de tilhører.
astrid-smn-juss-og-moral.mdx
Både i bank og i Kreditt har myndighetene satt regler. Men en interessant tanke vi fikk fra https://iapp.org/news/a/algorithms-can-reduce-discrimination-but-only-with-proper-data/, er at ettersom kunstig intelligens forsterker menneskelig diskriminering, vil man ved å eksplisitt bruke segmenteringsdata kunne aktivt motvirke diskriminering. Tips oss gjerne hvis du kjenner igjen dette fra din bransje eller organisasjon. I en bok vi liker, Weapons of Math Destruction av Cathy O'Neil, skriver hun at det krever åpenhet om prosessene, algoritmene, og dataene som ligger til grunn, sånn at vi kan avsløre de små skjevhetene.

Hvor modne er dere?

Vi har laget en spørreundersøkelse som kan måle modenheten i deres organisasjon. Du kan gjennomføre det anonymt og se sammenslåingen av resultatene til alle som har besvart.

05. Å bli datadrevet

Det er mange ting som må til for at en organisasjon skal bli datadrevet, og mye handler nettopp om utvikling av organisasjonen.