Minority Report: de voorspelbare toekomst van de Sleepwet
We vroegen de deelnemers aan het wiv-onderdeloep-debat ' Minortity Report' - heden of toekomst, dat plaats vond in Pakhuis de Zwijger op 15 maart j.l., een korte inleiding te houden. Hieronder de bijdrage van Marjolein Lanzing (PhD, TU Eindhoven)
Eerder is door Hans de Zwart (directeur van Bits of Freedom) al betoogd waarom de ‘Sleepwet’, zoals deze ook wel wordt genoemd, niet goed genoeg is. Lees zijn 5 punten in het Parool. En voorheen heb ik op deze site en in de Volkskrant beargumenteerd waarom ‘Veiligheid versus Privacy’ een valse tegenstelling is. In deze blog werp ik daarom op de valreep een blik op de voorspelbare toekomst van de sleepwet.
“Mr. Marks, by mandate of the District of Columbia Precrime Division, I’m placing you under arrest for the future murder of Sarah Marks and Donald Dubin that was to take place today, April 22 at 0800 hours and four minutes.”
– Officer Anderton, Minority Report
Knooppunt
In de film Minority Report (Steven Spielberg 2002), werkt Officer Anderton, (Tom Cruise) op de afdeling PreCrime; een afdeling waar misdaden voorspeld worden door PreCogs, drie helderzienden in een soort zoutwaterbad, en vervolgens voorkomen kunnen worden. Alles loopt mis wanneer de PreCogs Anderton aanwijzen als toekomstige moordenaar, en ook nog blijkt dat de PreCogs het niet altijd eens zijn: er bestaat zoiets als een afwijking op de voorspelling, een ‘minority report’, waarin Anderton niet schuldig is.
Dit wist u misschien niet, maar Amsterdam heeft iets vergelijkbaars. Onder Amsterdam ligt een knooppunt. Nee, ik heb het niet over Badhoevedorp, maar over een knooppunt dat wel doorstroomt: de AMS-IX. Het grootste knooppunt voor digitaal internetverkeer ter wereld. Per seconde komen daar onbeschrijflijk grote hoeveelheden data doorheen (4,7 terabit per seconde (Tb/s) voor de connoisseurs, een terabit is vergelijkbaar met alle tekst uit een grote universiteitsbibliotheek) die worden uitgewisseld tussen honderden partijen over de hele wereld waaronder Microsoft, Netflix, Facebook, Apple, RTL en de Telegraaf. Dus ook data over hun gebruikers.
We moeten ons vandaag bij de gemeenteraadsverkiezingen uitspreken over de nieuwe Wet inlichtingen en veiligheidsdiensten (Wiv) in het raadgevend referendum. In hoeverre de AMS-IX gebruikt gaat worden als een PreCog-poel hangt af van of we de wet zoals deze nu is aannemen of haar afwijzen en verbeteren.
PreCogs
We leven in een wereld waarin er steeds meer data van ons verzameld worden. The Internet of Things, slimme steden en intieme technologie zoals geïmplanteerde chips en self-tracking technologieën zijn verre van science fiction. In de toekomst worden er steeds meer aspecten van ons leven en van onze maatschappij gereguleerd door algoritmes (wiskundige regels) die deze data verzamelen en analyseren en op basis daarvan beslissingen nemen. Er zijn nu al algoritmes die aandelen verhandelen, die voorspellen wie er waarschijnlijk overgewicht gaat krijgen en wie onze beste romantische matches zijn. Zo’n samenleving wordt door filosofen als John Danaher ook wel een ‘algocratie’ genoemd. De mens raakt daarbij steeds meer uitgesloten. Binnen deze ingezette trend om door Big Data gedreven algoritmes te gebruiken voor besluitvorming in allerlei soorten sociale domeinen, lijkt het logisch om ook terrorisme en criminaliteit op deze manier aan te pakken. Immers, boeven zitten ook niet stil en bewegen zich door cyberspace. De Wiv moet dus mee met haar tijd. Hoe, dat is een tweede.
De nieuwe bevoegdheden van de WiV leiden tot enorme hoeveelheden data. De nieuwe bijzondere bevoegdheden van de diensten om ‘onderzoeksopdrachtgerichte interceptie’ te mogen uitvoeren (met toezicht en toestemming vooraf) leiden tot ‘bulk data’. De nieuwe reguliere bevoegdheden om (automatische) toegang te verkrijgen tot de databases van elke organisatie of persoon die informant wil zijn, zonder toezicht of toestemming vooraf, leiden eveneens tot enorme datasets. Voorbeelden van de onderzoeksopdrachtgerichte interceptie lopen uiteen van het verzamelen van informatie van een communicatie-app binnen een bepaalde stad tot het aftappen van openbare WiFi-hotspots. Dit is het zogenoemde ‘sleepnet’. Voorbeelden van partijen die hun databases aan de diensten kunnen aanbieden zijn de Belastingdienst, een cloudprovider, verzekeraars, onderwijsinstellingen, een internet provider of particuliere informanten.
Zie je dan maar eens een weg te banen door de digitale jungle. Om wegwijs te worden in de enorme hoeveelheid data gebruiken de diensten daarom ook een soort ‘PreCogs’; algoritmes die patronen in de data detecteren en op basis daarvan ‘profielen’ samenstellen. Via ‘social sorting’, wordt het gedrag van mensen gecategoriseerd en vervolgens worden correlaties tussen gedrag en profielen gebruikt om ‘voorspellingen’ te doen.
Minority Report
Waar ik me zorgen over maak, is het vertrouwen in Big Data en algoritmes om allerhande complexe, sociale problematiek op te lossen. Met enorme hoeveelheden data en met behulp van algoritmes zouden de diensten kunnen ‘voorspellen’ wie er mogelijk een terrorist is of wie er waarschijnlijk zal radicaliseren. Maar data zijn helemaal niet zo objectief als het huidige geloof in Big Data predikt en algoritmes zijn ook niet zonder problemen. Bevooroordeelde, selectieve data waarmee algoritmes worden gevoed zijn een groot probleem, laat staan de legitimiteit van deze data als grond voor (preventieve) acties zoals surveillance. Dit is nu al een probleem met betrekking tot ‘predictive policing’ waarbij er systematische discriminatie ontstaat door bevooroordeelde data (zie Cathy O’Neil Weapons of Math Destruction). Bovendien zijn de patronen die in de data worden gevonden correlaties, geen causale verbanden. De kans op fout-positieven (onschuldige burgers die als verdacht worden gezien) is dus aanwezig, maar de vraag is hoe naar het ‘minority report’ geluisterd wordt. In een interview met de Groene Amsterdammer (Nr. 11. 14 Maart 2018) zegt Big Data onderzoeker Timme Munk dat de ‘politieke druk zo groot is dat we meer fout-positieven accepteren. Zo worden onschuldige mensen schuldig bevonden, totdat ze kunnen bewijzen dat ze dat niet zijn.’
Dit betekent dat je ergens op een zwarte lijst kunt komen te staan of in het sleepnet kunt raken en via de kabel in de gaten kunt worden gehouden omdat een algoritme jou of je (online) omgeving inclusief alle toevallige links met jou als ‘risicovol’ heeft geclassificeerd. Als jij bijvoorbeeld in een dorp woont waar de diensten verwachten dat er mogelijk mensen zullen radicaliseren en zullen afreizen naar Syrië, dan sta jij ineens ook op de radar en monitoren de diensten ineens ook jouw internetverkeer. Minority Report all over again, maar dan niet met Tom Cruise maar met onszelf in de hoofdrol. Net als Tom, die als afdelingschef van PreCrime nota bene elke dag vertrouwt op de voorspellingen van de PreCogs, kunnen wij slachtoffer worden van het ‘geloof’ in Big Data gedreven algoritmes terwijl die helemaal niet zo eenduidig en voorspellend zijn als wij denken. We moeten wel ruimte houden voor de ‘minority reports’.
Wat het voorgaande nog verder compliceert dat een deel van deze slimme algoritmes ‘black boxes’ zijn. Ze zijn zo complex dat zelfs de makers niet altijd begrijpen waarom ze een bepaalde output opleveren -hier zien we een parallel met de PreCogs uit Minority Report en het interpreteren van hun voorspellingen. Op basis van grote datasets kunnen algoritmes getraind worden om hun eigen regels en principes te genereren in termen die we niet kunnen vertalen. Dit heet ook wel ‘machine learning’. Vaak zijn producenten die algoritmes ontwikkelen afhankelijk van gebruikersfeedback om achter een algoritmische misstand te komen. Recente voorbeelden zijn dat vrouwen lange tijd minder vacatures voor goed betaalde banen op Google te zien kregen dan mannen; dat Afro-Amerikaanse namen in de Google zoekfunctie geassocieerd worden met criminaliteit en het racistische gezichtsherkenningsalgoritme van Google gebruikers met een donkere huidskleur classificeert als ‘gorilla’s’. Op basis van de data blijkt dat jouw straat een potentieel broeinest is voor criminaliteit, maar waarom dat zo is, is vaak lastig zo niet onmogelijk om uit te leggen. En zoals datadeskundigen Viktor Mayer-Schonberger en Kenneth Cukier ook al hebben betoogd, wordt de waarom-vraag in het Big Data tijdperk ook steeds irrelevanter (Big Data, 2014).
Vrijheid
Wat we niet weten is hoe effectief en legitiem het sleepnet is met betrekking tot het vergroten van de veiligheid van Nederlanders. Wat we wel 100% zeker weten is dat de vrijheid van mensen ingeperkt wordt door de mogelijkheid van systematische surveillance op dubieuze gronden. De vrijheid komt in elk geval op vijf verschillende manieren in het geding.
Om te beginnen ondermijnt het sleepnet een van de fundamenten van de liberale democratische rechtsstaat, namelijk dat je onschuldig bent tot het tegendeel is bewezen. Binnen een democratische rechtsstaat kan de overheid alleen onder zeer speciale omstandigheden, mits goed onderbouwd, zich bemoeien met jouw privé-leven.
Daarbij kunnen op basis van inlichtingen burgers worden beperkt in hun opties en kansen zonder dat er goed kan worden uitgelegd ‘waarom’. Bijvoorbeeld wanneer ze voor de zoveelste keer worden aangehouden op Schiphol. Het lastige is dat de meesten van ons niets van de surveillance zullen merken; je merkt het pas als je ineens geen toegang ergens toe krijgt. En als je het dan merkt is het erg lastig om van een bepaalde status af te komen of om de data aan te laten passen.
Verder, we kunnen straks constant in de gaten worden gehouden en je data moet, zolang de relevatie nog onbekend is, door de diensten tot drie jaar lang worden bewaard. Dit kan leiden tot het zogenoemde ‘chilling effect’: het aanpassen van je gedrag aan een vermeende sociale norm. Je zult wel twee keer nadenken over wat je doet en misschien zelfs zoveel mogelijk proberen om fouten te vermijden. Immers, volgens Big Data-believers presenteren jouw data de ‘feiten’. Jouw persoonlijke interpretatie van gebeurtenissen en jouw subjectieve leerproces doen er steeds minder toe. Dat terwijl experimenteren is belangrijk voor de ontwikkeling van vrije, autonome individuen.
Ook weet je niet hoe de data die je nu afstaat, in de toekomst geïnterpreteerd worden en wie daar in de toekomst toegang toe heeft. Op dit moment hangt de invulling en uitvoering van de Wiv voor een groot deel af van regeerakkoorden en beleidsafspraken. En ook al hebben we dan misschien vandaag vertrouwen in onze politici; dit kan morgen zomaar anders zijn, zelfs in een democratie. De nieuwe Wiv staat de diensten zelfs toe om zogenaamde ‘ongeëvalueerde data’ te delen met buitenlandse diensten. Dat zijn datasets die onze diensten zelf nog niet geanalyseerd hebben. Ze weten dus niet wat daar in staat en wat de eventuele consequenties daarvan zijn. Neem een Nederlander met Russische achtergrond die in Nederland op het Internet zijn homoseksualiteit openlijk kan uiten, een activist en haar netwerk van buitenlandse contacten die strijden voor bepaalde (omstreden) rechten, of een journalist met kritische denkbeelden. Hun data zou tussen de ongeëvalueerde data kunnen zitten en zomaar in verkeerde handen kunnen vallen, met alle gevolgen van dien. Ook onze bondgenoten kunnen een andere gedaante aannemen. De verkiezing van Donald Trump benadrukt nog maar eens dat verrassende partijen aan het roer kunnen komen te staan en bewijst meteen hoe belangrijk het is dat bepaalde rechten goed zijn geborgd in de wet. Vertrouwen is mooi, maar bij een rechtsstaat horen wettelijke waarborgen die de toekomst en burgers van diezelfde vrije, democratische rechtsstaat beschermen.
Tot slot, privacy gaat niet alleen over het beschermen van onze informatie, maar ook over het beschermen van onze beslissingen en de ontwikkeling van onze eigen conceptie van het goede leven. Hoe meer informatie we afstaan (of wordt verzameld), hoe kwetsbaarder we worden voor manipulatie, sturing en uniformiteit, door overheden of bedrijven die ons daarom maar wat graag in de gaten houden. Onderzoeker Evgeny Morozov waarschuwt dat een samenleving waarin we alleen maar uitgaan van big data-analyses een samenleving is waarin de burger niet als vrij subject wordt gezien, of als iemand die zijn of haar eigen leven kan vormgeven en veranderen, maar als een categoriseerbaar, maakbaar, corrigeerbaar en voorspelbaar object. Dan hebben we het nog niet eens gehad over de geraffineerde en manipulatieve gedragsbeïnvloeding die algoritmes mogelijk maken door de online keuzearchitectuur van gebruikers te personaliseren op basis van Big Data. De controverse die recentelijk opnieuw is losgebarsten rondom de ‘fake news’ affaire en de beïnvloeding van politieke voorkeuren door Cambridge Analytica op basis van onze Facebook-gegevens zou ons wantrouwen om onze data te delen alleen maar meer moeten aanwakkeren (zie ook de Cambridge Analytica Files, The Guardian).
PreCog-Poel
Even terug naar onze eigen potentiële PreCog-poel, AMS-IX. Ik kan, wellicht in tegenstelling tot de PreCogs, niet precies voorspellen hoe de toekomst van de Wiv eruitziet. Bart Jacobs, professor cybersecurity aan de Radboud Universiteit, heeft aangegeven hoe waardevol het tappen van de AMS-IX kan zijn voor buitenlandse partijen. Verzoeken waren er over de jaren heen al, maar Nederland had nooit de bevoegdheid. Met de clausule in de Wiv over ongeëvalueerde informatie mag dat straks wel. Jacobs vraagt zich in een interview met Wil van der Schans af wat het wisselgeld is van een dergelijke uitbreiding van bevoegdheden en waar maar niet over gesproken wordt: een volwaardige plek aan tafel bij het inlichtingensamenwerkingsverband ‘The Five Eyes’? (De Five Eyes is een inlichtingen samenwerkingsverband tussen Australie, Nieuw-Zeeland, de Verenigde Staten, het Verenigd Koninkrijk en Canada.)
Wat ik wel kan voorspellen, is dat de toekomst van Nederlandse burgers en hun contacten in de wereld minder vrij en open wordt omdat onze privacy steeds verder wordt ingeperkt op allerlei fronten. Het wordt steeds lastiger je privacy te beschermen wanneer we de wereld op onze computers mee naar binnen nemen, waarin ons koffiezetapparaat roddelt met onze telefoons en waar de lantaarnpalen communiceren met de bushokjes. Of met de Google. Of met de AIVD. Al raken we steeds meer gewend aan steeds verregaandere inmenging door overheden en bedrijven op basis van onze data; we geven meer op dan we nu kunnen voorzien. Laten we ervoor zorgen dat wij de Tom Cruises zijn die de baas zijn over de PreCogs, die ze controleren en elk ‘minority report’ serieus nemen. Laten we ervoor zorgen dat het nooit zover komt dat de PreCogs op hun woord worden geloofd. Laten we streven naar een menselijke maat bij het oplossen van een sociaal probleem.
Denk aan Tom vandaag wanneer u gaat stemmen. ‘You can choose’, zou PreCog Agatha zeggen. Kies dus voor een betere wet. Dat levert ons op den duur een betere toekomst op. Ik voorspel het u.
(Dit artikel werd ook gepubliceerd op Bij Nader Inzien)
