Hvem vet hva de vet

Catherine Taylor fikk livet sitt snudd opp ned da en datamegler feilaktig rapporterte at hun var siktet for «forsøk på salg og framstilling av metamfetamin». Den falske anklagen spredte seg om som ild i tørt gress med det frenetiske salget av persondata. Da hun søkte jobber skremte dette digitale stigmaet bort arbeidsgiverne og hun fikk ikke engang lån til å kjøpe en vaskemaskin.

ChoicePoint, et av de mange selskapene som samler inn forbrukerdata, rettet til slutt opp feilen, men mange av selskapene ChoicePoint hadde solgt Taylors opplysninger til gjorde ikke det. Taylor måtte mase gjentatte ganger på dem og også levere søksmål. Prosessen slet henne fullstendig ut. «Jeg kan ikke være på vakt hele tiden», sa hun til Washington Post.¹ Det tok henne fire år å få en jobb og hun hadde fortsatt problemer med å finne en leilighet. Hun endte opp med å bo hos søsteren og sa stresset det hele skapte forverret hjerteproblemene hennes.

Taylor var klar over hvilke data som ødela for henne, i motsetning til resten av oss som ikke vet hvem som spionerer på oss og lager profiler. Selskapene som bruker avanserte algoritmer for å overvåke og manipulere oss skjuler seg bak «forretningshemmeligheter» når de blir bedt om å forklare seg. Men journalister og varslere har gitt oss et lite innblikk i den nye digitale økonomiens svarte boks. De sjokkerende avsløringene om at Cambridge Analytica har samlet personopplysninger om mange millioner Facebook-brukere viser behovet for strengere personvern.

Politikere på begge sider av Atlanteren forbereder seg på å lage nye eller håndheve de eksisterende reguleringene bedre, men det er vanskelig å få en oversikt over den enorme infrastrukturen som huser dataene. En måte å finne fram i denne labyrinten på er å se på de tre etappene i selskapenes bruk av persondata: innsamling, analyse for å lage profiler, og salg. Hver etappe i prosessen reiser forskjellige problemer.

Tre måneder med Le Monde
diplomatique for 99 kroner!

Papiravis og full digital tilgang

Bestill nå

Fornyes til 199,- per kvartal

Markedsføringens mysterium

Når folk ber Facebook eller Google vise dem deres digitale mappe, får de ofte en ubehagelig overraskelse: videoer, personlige samtaler og intime bilder som de trodde de hadde slettet for godt er permanent bevart i arkivene, i likhet med detaljerte data om hvor brukerne har vært. På Android-telefoner har Facebook i det stille sporet samtaleinformasjon. Etter hvert som sensorene på mobiltelefonene blir bedre, vil nettgigantene bli fristet til å samle inn enda mer data og lage enda mer omfattende profiler som avdekker folks sårbarheter, ønsker, svakheter og selv forbrytelser.

Har du noen gang googlet etter «symptomer på gonoré» eller «hvordan erklære seg konkurs«? Klikkloggen finnes kanskje ennå, knyttet til navnet ditt, IP-adressen til datamaskinen din eller maskinens ID-nummer. Slik kan selskapene lett lage lister over folk på kronisk diett eller er det de kaller «nevrotikere». «Ut fra kredittkort-historien din, bilen du kjører og flere andre aspekter ved livsstilen din kan vi få en nokså god indikasjon på om du har en bestemt sykdomstilstand», sa en leder i et helseselskap i 2013.² Andre selger epostadressene og medikamentlistene til depressive og kreftpasienter.

Vi får vanligvis bare vite om datainnsamlingen når selskaper avslører den utilsiktet. Et amerikansk selskap sendte ved et uhell et brev adressert til «Mike Seay, Datter drept i bilulykke». Datteren hadde faktisk dødd i en ulykke under et år tidligere. Hvordan eller hvorfor denne tragiske opplysningen kunne være relevant for markedsføring er et mysterium. Selskapet vil ikke si hvor det fikk informasjonen fra. Datameglerne pålegger ofte kundene å ikke oppgi hvor dataene kommer fra.

Alt eller ingenting

Datainnsamlerne, meglerne og videreselgerne sprer tidvis harmløs informasjon, men de har også tatt kyniske kategoriseringer til et helt nytt nivå. Selskapene har laget lister over ofre for seksuelle overgrep og folk med kjønnssykdommer. Det finnes registre over folk med Alzheimers, demens og Aids, og over impotente og depressive. Listene blir solgt for noen øre per navn og trenger ikke være pålitelige for å tiltrekke seg kjøpere – for det meste markedsførere, men stadig oftere også finansinstitusjoner som bruker dem til å vurdere kunder for å unngå svindel, og arbeidsgivere som sjekker potensielle arbeidstakere.

Næringen tømmer ideen om privatliv for alt innhold. Mens selskapene skjuler seg bak et stadig mer omfattende vern av forretningshemmeligheter, blir menneskers personvern stadig mer innskrenket.

Dataene kan ofte være upresise og villedende. En (frisk) venn fikk nylig en mystisk invitasjon til et møte for folk med multippel sklerose. Hun hadde for en stund siden meldt seg på et møte for venner av folk med MS. Opplysningene hennes hadde blitt samlet inn og solgt til et markedsføringsfirma. Hun husker ikke om påmeldingsskjemaet opplyste om denne typen bruk – hvem husker vel alle de generelle vilkårene man klikker seg gjennom uten å lese? Markedsføringsfirmaet hadde solgt opplysningene videre til et annet firma eid av to legemiddelselskaper, dermed fikk hun reklame for MS-møtet. Hvor mange av oss er plassert i mystiske kategorier vi ikke vet om?³

Cambridge Analytica-skandalen har avdekket hvordan firmaet har samlet inn persondataene til millioner av Facebook-brukere og solgt sine analyser til valgkampanjer, deriblant Trumps. Men det er sjeldent slike dataoverføringer blir avslørt. Myndighetene burde pålegge selskapene å rapportere hvilke data de samler inn fra enkeltindivider og la brukerne blokkere visse typer datainnsamling, snarere enn å påtvinge dem bruksvilkår som krever alt eller ingenting. Det er ikke sikkert Facebook-brukere vil ha en fullstendig mappe over alle sykebesøkene sine.

En framtid uten privatliv

Stordata gir store farer. Veier dagens fordeler opp for de langsiktige kostnadene? Den økende risikoen for datalekkasjer og misbruk tar troverdigheten fra ethvert forsøk på å forsvare datainnsamling for å skreddersy innhold og annonser. Selv store, avanserte selskaper kan hackes, og det snakkes lite om ulovlig salg av data. I minst ett tilfelle har en etablert amerikansk datamegler ved et uhell solgt millioner av personnumre, bilsertifikatnumre, bank- og kredittkortopplysninger til identitetstyver.⁴

Vi trenger strengere kontroll over hvor firmaene får dataene fra og hvem de selger dem til. Helsedata er vanskelig å sikre når millioner av filer kan krypteres og overføres med et tastetrykk. Vi kan kanskje finne spor etter datasalg, men hva om informasjonen spres med et håndtrykk mellom meglere? En minnepinne kan lagre flere millioner filer. Kontrollorganene har allerede problemer med å holde oppsyn med selskaper som selger fysiske produkter; veksten i dataselskaper har overkjørt dem fullstendig. Inntil dataselskapene blir pålagt å dokumentere og rapportere nøyaktig hvor dataene de besitter kommer fra og hvor de blir brukt, vil vi aldri bli i stand til å vurdere hvor stort misbruket er, eller få slutt på ulovlig dataoverføring.

I tillegg til å ansvarliggjøre selskapene som samler inn data, slik EUs nye personvernregulering (GDPR) gjør, bør lovgiverne også forby folk å gi fra seg visse typer informasjon. Mange amerikanske delstater har forbudt arbeidsgivere å be om passord til sosiale medier fra nåværende eller potensielle ansatte. Men hva om desperate jobbsøkere gir dem fra seg frivillig, i den tro at arbeidsgiverne vil foretrekke søkere som blottlegger hele sitt nettliv. Inntil bruk av sensitiv informasjon blir forbudt og strengt kontrollert, vil ingen være skånet for en framtid uten privatliv.

Forutser helse og seksualitet

Datainnsamlingen er bare første etappe i personvernproblemet. Så snart selskapene har samlet inn dataene, analyserer de dem og trekker slutninger. Sosiologen Mary Ebeling fylte ut noen nettskjemaer på begynnelsen av en graviditet som endte med spontanabort. Mens hun ennå var i sjokk fristet markedsføringsfirmaene henne med babyprodukter. Hun var allerede blitt oppført som mor i utallige databaser. Hun skrev en bok for å finne ut hvordan personvernet hennes var blitt brutt, men klarte aldri å komme til bunns i brevene og reklamene som hjemsøkte henne i flere år.⁵

Andre algoritmer etablerer vårt rykte som låntaker, student, boligeier eller arbeidstaker. Mange låneselskaper bruker nå utradisjonelle data for å tilby forbrukslån eller kreditt til småbedrifter. I dagens ratingsamfunn mangler folk grunnleggende informasjon om hvordan lånesøknadene deres har blitt vurdert.

En nylig rapport fra Privacy International har avslørt at finansteknologiselskaper allerede rangerer kredittverdighet basert på politisk aktivitet, hvem du ringer, når du ringer og mottar meldinger, hvilke apper du har på telefonen, geografisk plassering og hvordan du fyller ut skjemaer.⁶

Programvare som kan lage prediksjoner og justere dem ut fra analyse av data – såkalt maskinlæring – innebærer stadig mer invaderende måter å vurdere kredittverdighet på. En vitenskapelig artikkel publisert i fjor forsøkte for eksempel å utlede tilbøyeligheten til kriminalitet fra ansiktstrekk.⁷ Forskere innen kunstig intelligens forsøker nå å fastslå helse og seksualitet ut fra portrettfotoer, som det er enkelt å samle inn fra Google eller Facebook.⁸

Kjærkommen nyorientering

Maskinlæring er en verdifull innovasjon når den hjelper oss i kampen mot kreft eller for å stanse hackere, men den har ofte negative konsekvenser for mennesker. Vi vet om minst ett kredittkortselskap som bruker prediktive analyser basert på mental helse eller livshendelser som parterapi. Siden par som går i terapi statistisk sett oftere skiller seg, er parterapi et signal på at ekteskapsproblemer er i ferd med å utvikle seg til økonomisk uføre. Bruk av slike data blir i praksis en straff for parterapi, og et dilemma for lovgiverne. Kredittkortkundene er ikke klar over denne avgjørende faktoren for kredittverdigheten deres. Hvis det blir kjent kan det skremme par fra å søke rådgivningen de kanskje trenger for å redde forholdet.

Det trenger ikke finnes noen årsakssammenheng mellom parterapi og forsinkede betalinger, men for selskapene kan den statistiske korrelasjonen være nok til å vurdere deg som kunde. Resultatet kan være foruroligende i tilfeller med objektivt verifiserbare tilstander, som for eksempel graviditet. Og ødeleggende for de som blir feilkategorisert som late, upålitelige eller det som verre er. Data på avveie kan gi en dominoeffekt av nye problemer når de skaper nye analoge realiteter. Hvis et program utleder at en person utgjør en kredittrisiko, er en unnasluntrer på jobben eller en elendig forbruker, kan disse tildelte karaktertrekkene påvirke beslutningene i andre systemer i økonomien.

Myndighetene må kunne kontrollere maskinlæringsprosessene for i det minste å sjekke hvorvidt mistenkelige datakilder som disse påvirker finansteknologiselskaper, og om noen slutninger bør forbys. For eksempel kan kredittvurdering basert på geolokalisering føre til at folk i «dårlige strøk» blir nektet lån.

Mens myndighetene holder konstant oppsyn med oss vanlige borgere, skjuler de mektige selskapene sine data og algoritmer for myndighetene som skal beskytte oss. Hvorfor brukes ikke de offentlige myndighetene og underleverandørene deres til å avsløre selskapers misgjerninger? Google og Facebook har en lang historie med brudd på personvernet og burde blitt underlagt langt strengere overvåkning og kontroll. De juridiske og tekniske mulighetene for det finnes allerede. Med den såkalte krigen mot terror har spionbyråer utvidet overvåkningen verden over. En krig mot brudd på personvern og misbruk av data ville vært en kjærkommen nyorientering for etterretningsapparatene.

Gjenreise tilliten

Verken maskinlæring eller prediktive analyser er for komplekse til å reguleres. Noen finansteknologiselskaper vil muligens innvende at beregningene involvert i beslutningene deres er så komplekse at det blir som å forklare hvordan et menneske tar beslutninger.

Vi bør være skeptiske til dette argumentet om «uendelig kompleksitet» som et forsvar for avregulering. Den kunstige intelligensen som kommersielle aktører hyller kan like godt bli til kunstig idioti. Dessuten finnes det flere tiltak som er lette å implementere, selv for de mest komplekse maskinlæringsprosessene. La oss anta et det finnes et ekstremt komplekst ratingsystem for kredittverdighet: Reguleringsmyndighetene kan likevel kreve innsyn i datasettene som mates inn og forby for eksempel helsedata. I EUs nye personvernregulering GDPR som trer i kraft 25. mai, kan borgerne kreve å få innsyn i logikken bak beslutningsprosessen når den er basert på automatiserte prosesser. Denne retten til forklaring burde bli innlemmet i menneskerettighetene, hvis ikke vil ugjennomsiktige databaserte beslutningsprosesser få stadig mer makt over livene våre.

For å gjenreise folks tillit til politikken og den demokratiske beslutningsprosessen burde reguleringsmyndighetene umiddelbart kreve at selskapene oppgir hvilke data og algoritmene de bruker for å påvirke den prosessen. Retten til innsyn er fundamental for ytringsfriheten. Om selskaper hevder at algoritmene deres er for komplekse til å oppgis, burde myndighetene forby bruken av informasjonen de produserer.

Diskriminerende data

Den viktigste reguleringen dreier seg om bruken av data. Myndigheter kan sannsynligvis ikke forby forskere å forsøke å spå kredittverdighet eller kriminelle tilbøyeligheter ut fra ansiktstrekk: Det er vanskelig å kontrollere hva folk forsøker å finne i datamønstre, selv om det sannsynligvis er et resultat av falske korrelasjoner. Men vi kan forby kredittinstitusjoner å ta beslutninger basert på trynefaktor eller om lånesøkeren var urolig som barn.

Reguleringen kan heller ikke overlates til den enkeltes dømmekraft. Forestill deg at kartleggingen og analysen av din personlige profil er fullt tilgjengelig for deg. Du kan finne all informasjon om deg selv fra innsamling til megler til sluttbruker. Du kan bestride det du mener er unøyaktig. Du kan til og med lage ulike digitale versjoner av det selv for å sikre at datameglerne har den nyeste versjonen av din smak, dine interesser og bragder.

En slik anseelsesøkonomi er ikke mindre skremmende. For det første vil det bli vanskelig for folk, når databruken blir enda mer omfattende, å vite nøyaktig hvor og hvordan de blir katalogisert, selv med hjelp fra nye programmer eller med profesjonell hjelp. I mange tilfeller kan sannferdige data også brukes urettmessig eller diskriminerende. Det er allerede forbudt å bruke genetisk informasjon i ansettelsesprosesser, fordi det er vanskelig å gjøre noe med genene sine. Men er man mer ansvarlig for kreft, beinbrudd, eller angsten og depresjonen når et forhold går mot slutten?

Digitalt oligarki

Man kan ikke forvente at folk på egen hånd skal løse problemene med stordata og automatiserte beslutningsprosesser. Få har tid til å gå gjennom de mange tusen databasene som påvirker livene våre. Reguleringsmyndighetene må kunne undersøke innholdet i serverne til de store selskapene og datameglerne for å finne suspekte data og kreve sporbarhet for å verifisere påliteligheten. I helsesektoren har de amerikanske myndighetene allerede leid inn eksperter for å finne problematiske datapraksiser på sykehus og legekontorer. Myndighetene kan også skattlegge stordataselskapene for å finansiere større kontroll.

Firmaer bruker automatiserte prosesser for å vurdere farer og muligheter. Selskapene som kontrollerer disse prosessene er blant de raskest voksende, mest lønnsomme og sentrale i informasjonsøkonomien. Alle bruker de algoritmer, som oftest hemmelige, for å skaffe seg enorme mengder informasjon. Teknologiens tiltrekning er åpenbar: Den gamle drømmen om å spå framtiden, temperert av en moderne touch av statistisk edruelighet.

Men i en tid med hemmelighold kan falsk informasjon framstå som pålitelig, og skape urettferdige eller selv katastrofale spådommer. Modellering blir enda verre når urettferdige eller upassende vurderinger blir kombinert med algoritmer for å frambringe nederlagene de hevder de kan forutse.

En opplyst offentlig debatt krever mer enn innsikt i hvordan statsapparater fungerer, den krever også innsikt i hvordan selskaper påvirker våre regjeringer, samfunn og kulturer. Informasjonstidsalderens guruer lover frihet og selvbestemmelse, men deres svarte bokser skaper snarere et digitalt oligarki.

Oversatt av redaksjonen

Frank Pasquale er professor i juss, University of Maryland.

1
Ylan Q. Mui, «Little-known firms tracking data used in credit scores», The Washington Post, 16. juli 2011.
2
Joseph Walker, «Data mining to recruit sick people», Wall Street Journal, New York, 17. desember 2013.
3
Nicolas P. Terry, «Protecting patient privacy in the age of Big Data», University of Missouri-Kansas Law Review, vol. 81, nr. 2, Kansas City, 2012. Lori Andrews, I Know Who You Are and I Saw What You Did: Social Networks and the Death of Privacy, Free Press, New York, 2011.
4
«Experian sold consumer data to ID theft service», Krebs on Security, 20. oktober 2013, krebsonsecurity.com.
5
Mary Ebeling, Healthcare and Big Data. Digital Specters and Phantom Objects, Palgrave Macmillan, Basingstoke, 2016.
6
«Case study: Fintech and the financial exploitation of customer data», Privacy International, 30. august 2017, www.privacyinternational.org.
7
Blaise Agüera y Arcas, Margaret Mitchell og Alexander Todorov, «Physiognomy’s new clothes», Medium 6. mai 2017, https://medium.com.
8
Sam Levin, «LGBT groups denounce ‘dangerous’ AI that uses your face to guess sexuality», The Guardian, London, 9. september 2017; Barbara Marquand, «How your selfie could affect your health insurance», 24. april 2017, www.nerdwallet.com.

Tre måneder med Le Monde
diplomatique for 99 kroner!

Papiravis og full digital tilgang

Bestill nå

Fornyes til 199,- per kvartal