Chat Control: Så ska techjättarna skanna allt du skickar

En femtonårig tjej skickar en avklädd bild på sig själv till sin pojkvän. En aning omdömeslöst, med tanke på hur lätt bilder sprids vidare till vänner, bekanta och obekanta. Men samtidigt vanligt: var femte elev i årskurs nio har någon gång skickat nakenbilder på sig själv, enligt en svensk studie. 

Har mottagaren gott omdöme borde ingen annan någonsin få se bilden. Men om EU-kommissionen får sin vilja igenom kommer den först att granskas av en AI-robot i jakt på barnpornografi. Och om den artificiella intelligensen bedömer att bilden skulle vara barnpornografisk – en påtaglig risk, med tanke på att den visar en minderårig flicka utan kläder – skickas den vidare till främmande människor för inspektion. I bästa fall innebär det en allvarlig kränkning av flickans integritet. I värsta fall kan pojkvännen hamna i domstol. 

Det uttalade syftet med denna nyordning är att bekämpa barnpornografi och grooming. Lagförslaget heter ”Proposal for a regulation laying down rules to prevent and combat child sexual abuse”. Ordet surveillance, övervakning, nämns inte en enda gång. Men innebörden är att alla EU-medborgares elektroniska meddelanden ska avkrypteras och läsas. Alltså sms, meddelanden i Facebookchatten, Whatsapp, epostmeddelanden och IP-telefoni. Dessutom allt du har i dina molntjänster – alltså varenda bild du någonsin har tagit med en mobiltelefon ansluten till Apples Icloud eller till Androids motsvarigheter. 

Misstänkt material ska skickas till en ny EU-institution kopplad till Europol – som förra året fick tillstånd att använda AI till så kallat ”preventivt polisarbete”. Och om någon plattform vägrar ge myndigheterna tillgång till din kommunikation kan den förbjudas i EU. 

Det är svenska Ylva Johansson (S), EU-kommissionär med ansvar för inrikes frågor, som lagt fram förslaget. 

– Om mitt förslag inte går igenom (…) kommer vi att bli som ett skyddsområde för pedofiler och dem som begår sexuella övergrepp på barn, sa hon i Ekot i somras. 

Förslaget kallas Chat Control i folkmun och kritikerna menar att det i bästa fall är ett dysfunktionellt verktyg. I värsta fall är det en rökridå som döljer den mest omfattande statliga kontrollen över internet den fria världen hittills har sett. 

Processen började i december 2020, när ett nytt EU-direktiv trädde i kraft: European Electronic Communications Code. Därmed breddades definitionen av ”elektronisk kommunikationstjänst”, med följden att ett helt annat direktiv från 2002 plötsligt blev applicerbart på chattfunktioner, webbmejl och molntjänster. Dataskyddet stärktes. Och Silicon Valley mobiliserade sina lobbyister i Bryssel. 

Systematisk skanning av alla meddelanden sker nämligen redan. Sedan flera år tillbaka avkrypterar och läser Google, Facebook, Yahoo, Apple och många andra innehållet i privata chattar, mejlkonversationer och filer lagrade i molntjänster. Stora techbolag har spenderat dyra pengar på att utveckla skanningsverktyg, och tanken på dessa skulle bli förbjudna i EU lockade inte. 

Techjättarna lyckades få till stånd ett tillfälligt undantag från förbudet. Det upphör att gälla i augusti 2024 – om inte undantaget görs permanent, vilket är vad Chat Control syftar till. Och går förslaget igenom kommer skanningsverktygen inte bara att bli permanent lagliga, utan obligatoriska. 

– Som så ofta kan beslutsfattarna inte tekniken och har inte förstått innebörden av sina beslut, säger Henrik Alexandersson, redaktör för den övervakningskritiska nyhetsbloggen femtejuli.se. 

Så låt oss titta närmare på tekniken och konsekvenserna. 

Det finns två sätt att använda datorprogram för att identifiera barnpornografi. Det ena är att jämföra bilder med barnpornografiskt material i jakt på en matchning. Problemet är att det kräver en enorm databas med sådant material – både ett etiskt och ett juridiskt problem. Detta löste Microsoft för närmare femton år sedan med verktyget PhotoDNA, som omvandlar bilder till digitala koder som kan jämföras med koderna från bilder man vill skanna. 

Metoden kan dock inte användas för att hitta barnpornografiskt material som inte finns i databasen. Det är där AI kommer in. Sedan några år tillbaka finns AI-verktyg som identifierar även barnpornografi som inte förekommer i databasen. Eller i alla fall försöker identifiera. Problemet är att de ofta har fel.

Ett exempel: 2016 fastnade Norges dåvarande statsminister Erna Solberg i Facebooks anti-barnporr-verktyg. Hon hade delat ett Facebookinlägg med det berömda fotografiet av en flicka som flyr från sin napalmbombade by i Vietnam 1972. Det räckte för att Solberg skulle bli flaggad. 

Ett annat exempel: 2020 förlorade en tonåring i Nederländerna tillgången till sitt Microsoftkonto, inklusive mejl, bilder som lagrats i molnet och ett Xboxkonto knutet till mejladressen. Först när han tog fallet till domstol avslöjade Microsoft vad det rörde sig om: de hade hittat en bild på hans exflickvän på hans konto i molnet. Hon var myndig vid tillfället.  

Men hur ska en AI kunna se skillnad på en sjuttonåring och en artonåring när inte ens riktiga människor kan det? Ännu svårare blir det när AI dessutom – enligt Chat Control – ska användas för att identifiera grooming, alltså försök att ta kontakt med minderåriga i sexuellt syfte. Det kräver en avancerad förståelse av sammanhang, ironi, skämt och subtiliteter som inte alltid sägs rätt ut. 

– Storskaliga språkmodeller gör framsteg, men det här är fortfarande ett väldigt svårt problem. Tekniken leder till en mängd felaktiga flaggningar med allvarliga konsekvenser för de drabbade, säger Bart Preneel, professor och expert på kryptografi vid belgiska universitetet KU Leuven. 

Ingen vet exakt hur många felaktiga flaggningar anti-barnpornografi-verktygen genererar, men antalet är högt. 

– I Tyskland är nästan hälften av alla misstänkta som kommer till polisens kännedom med den här sortens media själva minderåriga. 2021 utgjorde de till och med majoriteten, berättar Thomas-Gabriel Rüdiger, kriminologiprofessor och chef för Institutet för cyberkriminologi vid Brandenburgs polishögskola. 

Det rör sig till exempel om tretton- eller fjortonåringar som skickar intima bilder till varandra, eller deltar i gruppchattar där bilder som skickas runt laddas automatiskt till deltagarnas telefoner. 

När en stor mängd personer felaktigt flaggas som misstänkta pedofiler är det inte bara obehagligt för dem själva. Det riskerar också att leda polisen i fel riktning. 

– De förövare vi borde vara bekymrade över, alltså sexualförbrytare med nätverk som gör sig skyldiga till allvarligt sexuellt våld mot barn, är rätt försiktiga. De kommer snabbt att inse att de skannas automatiskt och byta till andra, möjligen analoga, kommunikationer, säger Rüdiger. 

Kvar på de AI-skannade tjänsterna blir de som inte vet att skanningen äger rum eller inte förstår att deras kommunikation är straffbar – ofta minderåriga. 

– Jag tror automatisk skanning mest sannolikt kommer att fånga minderåriga och därmed binda upp resurser som skulle behövas för att åtala verkliga förövare, säger Rüdiger. 

Den tyske EU-parlamentarikern och piratpartisten Patrick Breyer, som förhandlar om Chat Control i parlamentets utskott för mänskliga rättigheter, säger att de värsta brottslingarna redan i dag undviker sociala medier. 

– Det är klart att de som skapar och sprider det här materialet inte organiserar sig i Facebookgrupper – de har krypterade forum på darknet, säger han. 

För att komma åt dem behöver man endera få tag på personer som ingår i dessa forum eller själv infiltrera dem. 

– Det är något polisen rätt ofta gör framgångsrikt, men det kräver resurser. Börjar man spamma polisen med automatiserade notiser som ofta är felaktiga eller pekar ut tonåringar som inte har gjort sig skyldiga till brott – då berövar man polisen kapacitet den redan har brist på, säger Breyer. 

År 2017 blev EU:s ambassad i Moskva hackad. Året därpå avslöjades att hackarna hade kommit åt hemlig information, men att ansvariga EU-tjänstemän hade mörkat händelsen. Ungefär samtidigt framkom också att EU:s diplomatiska kommunikationsnätverk blivit infiltrerat av hackare för flera år sedan som senare läckte hemliga dokument till pressen. 

Incidenterna var pinsamma för EU. New York Times kallade unionens säkerhetsrutiner ”anmärkningsvärt dåliga”. Så säkerhetsrutinerna uppdaterades och kommissionen uppmanade sina medarbetare att börja använda den krypterade appen Signal. Ironiskt, med tanke på att kommissionen genom Chat Control kommer att tvinga Signal att försvaga sin kryptering, eller lämna EU. 

För att techbolagen ska kunna skanna meddelanden måste de kunna läsa dem. Många har tillgång till okrypterade meddelanden redan i dag, men andra – till exempel Signal – krypterar meddelandet innan det skickas och avkrypterar det först när det nått mottagaren. Bara sändaren och mottagaren kan därmed läsa meddelandet i klartext. 

Ska Chat Control kunna genomföras måste techbolagen få tillgång till de okrypterade meddelandena. De måste då antingen sluta använda den så kallade end to end-krypteringen eller bygga in en bakdörr – i praktiken ett spionprogram som installeras i användarens telefon och skannar bilder, filer och meddelanden innan de krypteras. 

Metoden kallas klientsidesskanning, CSS. I ett öppet brev till EU-parlamentet och rådet varnar 465 forskare och experter för teknologin: 

En lag som gör CSS obligatorisk, eller någon annan teknologi designad för att komma åt, analysera eller dela innehållet i kommunikationer, kommer utan någon tvekan att underminera kryptering, och som resultat göra allas kommunikationer mindre säkra. 

Två av de största kommunikationstjänsterna som använder end-to-end-kryptering, Signal och Whatsapp, har sagt att de inte kommer att försvaga sin kryptering. På Twitter bekräftade Signals vd Meredith Whittaker att det gäller även om Chat Control blir lag. Tjänsten skulle alltså bli förbjuden i EU. Det rimmar illa med kommissionens eget behov av att använda end-to-end-kryptering för att undvika pinsamma dataläckor. 

Men den som är tillräckligt intresserad kan både ta sig förbi CSS och hitta sätt att installera krypterade kommunikationstjänster, även om Google och Apple raderar dem från Google Play och Appstore. Till och med ifall EU gör som Kina och blockerar trafik via oönskade tjänster går det att ta sig förbi. 

– De som faktiskt ägnar sig åt sexuellt utnyttjande av barn skulle hitta vägar runt åtgärderna, säger Bart Preneel. 

Han hoppas att även människorättsaktivister och journalister skulle göra det, för demokratins skull. 

Och EU:s egna tjänstemän och beslutsfattare? De har redan föreslagit att statlig kommunikation ska få undantag från Chat Control. 

Bland EU:s medborgare är motståndet mot elektronisk övervakning av privatlivet stort. I samband med att techjättarna fick tillfälligt undantag från förbudet mot skanning av chatt- och mejlkonversationer genomfördes en Yougov-undersökning i tio EU-länder, däribland Sverige. 72 procent var negativa till övervakning av privat korrespondens utan brottsmisstanke, 18 procent positiva.  

En svensk Novusundersökning i maj i år gav samma resultat: 72 procent är helt eller delvis emot att internetleverantörer eller myndigheter ska kunna se vad de skriver. En tydlig majoritet tycker att det ska krävas brottsmisstanke. 

Två månader senare visade däremot en annan undersökning raka motsatsen: 78 procent av EU:s befolkning stödjer Chat Control. Förklaringen till den synbara omsvängningen verkar ligga i hur frågorna formuleras. I den nya undersökningen nämndes inte att Chat Control ska kringgå kryptering och skanna allas kommunikation. De svarande fick helt enkelt informationen att kommissionen har föreslagit en lag som tvingar digitala kommunikationstjänster att förhindra sexuella övergrepp mot barn genom att rapportera när det sker. För eller emot? 

Möjligen har det att göra med att undersökningen är beställd av EU-kommissionen. Eurobarometern, som undersökningen heter, har av forskare vid Max Planck-institutet för samhällsvetenskap anklagats för att ”sudda ut gränsen mellan forskning och propaganda”. 

Opinionsmätare kan förvränga mycket, men en sak är svår att vinkla: den enkla frågan om de tillfrågade över huvud taget har hört talas om Chat Control. Novusundersökningen från i våras visade att bara 22 procent kände till förslaget.  

– En bidragande förklaring är EU:s extrema beslutsprocess. Det är svårt att hitta aktuella dokument och vill man veta vad som sker i utskotten och ministerrådet är det rena detektivarbetet. Och bevakningen av de här frågorna är i det närmaste obefintlig, säger Henrik Alexandersson. 

Han är inte ensam om att oroa sig för bristen på kunskap om vad som pågår i Bryssel. En aspekt av Chat Control som i hög grad har flugit under radarn är åldersgränser. Kommissionen vill införa ålderskontroller i appbutiker och appar där det finns en risk att vuxna försöker ta kontakt med barn – det vill säga i princip alla appar med chatfunktioner. Syftet är att en åldersgräns på 17 år ska införas. 

Det innebär två saker: för det första att tonåringar exkluderas från de appar de i dag använder för att kommunicera med varandra. 

– Jag tror inte att alla tonåringar förstår innebörden av det här förslaget. Unga borde inte stängas ute från vanliga appar bara för att vuxna skulle kunna använda dem för att kontakta dem, säger Patrick Breyer. 

För det andra att appar och appbutiker då behöver kontrollera användarnas ålder. Vilket innebär att de måste kunna verifiera deras identitet. Det skulle i sin tur innebära slutet på anonyma kommunikationer via mejl och chattar. 

Redan det föreliggande Chat Control-förslaget kan alltså komma att rita om internet som vi känner det. Men vad som bekymrar många mer än något annat är vad verktyget kommer att användas till i framtiden. Instiftar man ett verktyg för att bekämpa barnpornografi finns risken att det börjar användas på andra områden. 

– När man inför ett sådant här verktyg är det fullständigt uppenbart att syftet kommer att utökas. Det är nästan en naturlag, säger Henrik Alexandersson. 

Det finns gott om exempel. När FRA-lagen antogs 2009 stod det uttryckligen att FRA enbart skulle få bedriva signalspaning när det gäller hot mot Sverige eller svenska intressen. 2021 röstade riksdagen bort den begränsningen och beslöt dessutom att ge utländska säkerhetstjänster direktåtkomst till informationen. 

På motsvarande sätt skulle Datalagringsdirektivet, som krävde att metadata om all kommunikation över telefon och internet skulle lagras, användas för att bekämpa grov brottslighet. Det blev snabbt ett verktyg för att jaga skatteplanerare och fildelare. 

Fenomenet kallas ”mission creep”, ändamålsglidning. Man skapar möjligheten att använda ett verktyg för några få extremfall och utökar sedan successivt användningsområdet. Endera blir pressen på lagstiftarna för stor – varför ”låta gängkriminella hållas” när man kan sätta in Chat Control mot dem också? Eller så är ändamålsglidningen avsiktlig. I lobbyvärlden talar man om ”murbräckor” – argument som är så svåra att argumentera emot att man bryter igenom det politiska motståndet. 

– Sexuella övergrepp mot barn är något lagstiftare väljer för att de vet att de har allmänheten på sin sida. De här brotten är hemska. Men när verktygen lagstiftarna efterfrågar väl finns på plats kommer användningsområdet att expandera. Det går att tänka sig riktigt obehagliga scenarier, säger Bart Preneel. 

Han tar upp kameraövervakningen i sitt hemland Belgien som exempel. Sedan några år finns ”smarta” kameror med automatisk igenkänning av registreringsplåtar i nästan varje stad. Syftet var inledningsvis att bekämpa kriminella ligor och terrorister, men i dag används systemet även för att sätta dit personer som tittar på mobilen bakom ratten. I Antwerpen fick polisen tillstånd att använda smarta kameror i det judiska distriktet för att undersöka att coronarestriktionerna följdes. 

– I princip varje månad kommer någon minister på ett nytt användningsområde för de här kamerorna. Samma sak kommer att hända med Chat Control. När man väl har installerat verktyget på varje enhet kommer makthavare att hitta ständigt nya områden där de kan förbättra samhället genom att leta efter nya saker, säger Preneel. 

De 465 forskarna som varnar för CSS skriver att det finns en ”extremt hög risk” att verktyget kommer att missbrukas och varnar för pressen på lagstiftare att utvidga användningsområdet: först mot terrororganisationers rekrytering, sedan mot annan brottslig verksamhet, sedan kanske till och med mot oliktänkande. 

För att Chat Control ska bli lag behöver den godkännas av både ministerrådet och EU-parlamentet. Det drar ihop sig till beslut: ministerrådet var tänkt att rösta 28 september, även om det i skrivande stund verkar ha blivit uppskjutet. I oktober röstar parlamentet, först i utskottet för mänskliga rättigheter och sedan i plenum. 

Om rådet skulle blockera Chat Control hör det till ovanligheterna. När Europaportalen granskade hur ministerrådet röstat om nya EU-lagar mellan juli 2014 och december 2018, visade det sig att 85 procent godkändes enhälligt. Sverige hade bara röstat nej fem gånger av 330. 

Över huvud taget är det sällsynt att kommissionen inte får sin vilja igenom. Beslutsprocessen i EU är utformad så att kommissionen får både en andra och en tredje chans om inte dess förslag godkänns på första försöket. Att ett förslag röstas ner helt och hållet är sällsynt. I stället handlar det om hur mycket parlamentet eller ministerrådet lyckas förändra kommissionens texter. 

– Chanserna att Chat Control röstas ner i sin helhet är små. Den politiska pressen är svår att överskatta, säger Patrick Breyer. 

Utvecklingen i parlamentet vill han inte uttala sig om, men inför rådets omröstning är han försiktigt förhoppningsfull. För att uppnå en blockerande minoritet, så att kommissionen tvingas omarbeta förslaget, krävs bara att fyra medlemsländer med minst 35 procent av unionens invånare röstar nej eller avstår. 

Det står redan klart att Österrike kommer att rösta nej. Chat Control strider mot den österrikiska konstitutionen. Från den tyska regeringen kommer signaler att den kan vara på väg att rösta nej. En representant för Polens regering har kallat Chat Control ”helt onödig”. Även en handfull andra länder verkar stå och väga. 

Och Sverige? Riksdagen är kluven. I skrivande stund säger SD, V, C och MP nej, Socialdemokraterna säger ja och regeringspartierna är splittrade. I våras sa Moderaterna i EU-parlamentet att de kommer att rösta nej, men nyligen läckte dokument som visar att regeringen i ministerrådet i breda drag stödjer Chat Control. 

Men om Chat Control röstas igenom får i stället kritikerna en andra chans: EU-domstolen. 

Datalagringsdirektivet – det som bara skulle användas mot grov brottslighet – trädde i kraft 2006. Åtta år senare ogiltigförklarades det av EU-domstolen, som konstaterade att massövervakning utan brottsmisstanke inte var förenlig med medborgarnas rätt till integritet. 

Patrick Breyer menar att Chat Control är oförenlig med EU-rätten av samma skäl. Han får stöd av juridikprofessorn Ninon Colneric, tidigare domare vid EU-domstolen, som har gjort en juridisk bedömning av förslaget och kommit fram till att det på flera punkter strider mot EU:s rättighetsstadga: rätten till privatliv, dataskydd och yttrandefrihet. 

Även FN varnar för att Chat Control är oförenligt med grundläggande mänskliga rättigheter. Oskyldiga kommer att drabbas och massövervakningen kommer att leda till självcensur, skriver FN:s högkommissarie för mänskliga rättigheter. 

– Kina är det enda landet i världen som använder den här sortens verktyg i stor skala. Där letar de efter regimkritiska åsikter, säger Patrick Breyer.  

– Men aldrig i den fria världen har en plan existerat för att skanna innehållet i alla privata konversationer och meddelanden, förrän nu. 

Läs även: Europol får rätt att massövervaka EU-medborgare

Läs även: Nya steg mot överstatlighet