Digitalpolitik: KI, Big Data und die Zukunft der Demokratie

EU-Monitor

Digitale Ökonomie und struktureller Wandel

Digitalpolitik

12. September 2019

KI, Big Data und die Zukunft der Demokratie

Autor

Kevin Körner

[phone] [e-mail]

Editor

Barbara Boettcher

Deutsche Bank AG

Deutsche Bank Research

Frankfurt am Main

Deutschland

E-Mail: [e-mail]

Fax: [phone]

www.dbresearch.de

DB Research Management

Stefan Schneider

Original in engl. Sprache: 22. August 2019

Für Milliarden von Menschen hat die digitale Transformation enorme Vorteile und Annehmlichkeiten gebracht. Allerdings lassen sich die wirtschaftlichen und politischen Implikationen wohl erst im Rückblick vollständig erfassen. Für demo- kratische Institutionen und Prozesse ergeben sich daraus beträchtliche Heraus- forderungen für die Beurteilung der Chancen und Risiken neuer Technologien.

Liberale Gesellschaftsmodelle können sich digitale Technologien ebenso zunutze machen wie autoritäre; einerseits können Regierungen besser zur Re- chenschaft gezogen werden, andererseits wird gegebenenfalls der Repression der Weg geebnet. Digitale Technologie hat einen beispiellosen Informations- Zugang und Austausch ermöglicht. Sie hat aber auch die Verbreitung von Fehl- informationen und Propaganda sowie das Entstehen von Echokammern ver- stärkt - und so möglicherweise zu einem wachsenden Populismus und zur Po- larisierung demokratischer Gesellschaften beigetragen.

Rund um die Welt profitieren Nutzer von kostenlosen Dienstleistungen in der Datenwirtschaft. Angesichts der zugrundeliegenden Geschäftsmodelle und Kon- zentration von Einfluss und Vermögen stellen sich jedoch drängende Fragen in Bezug auf den Schutz der Privatsphäre, das Eigentum an Daten und gezielte Manipulation - nicht nur für wirtschaftliche, sondern auch für politische Zwecke.

Autoritäre Staaten haben rasch gelernt, wie sie Überwachungstechnologie, künstliche Intelligenz und Massendaten zu ihrem Vorteil nutzen können, sowohl für staatliche Kontrolle im Inland als auch, um Demokratien im Ausland zu un- terminieren. Für Demokratien, deren Zusammenhalt auf Teilhabe und Zustim- mung ihrer mündigen Bürger beruht, stellt dies eine ganz neue Herausforderung dar. Wie sie damit umgehen, wird sich entscheidend darauf auswirken, wie sie im intensiver werdenden Wettbewerb der politischen Systeme bestehen. Demo- kratien müssen zudem einen fundierten Dialog über das Eigentum an Daten und Technologie sowie die Verteilung der Vorteile von KI und Automatisierung führen. Gleichzeitig müssen sie ihre technologische Wettbewerbsfähigkeit und wirtschaftliche Prosperität als Stützpfeiler der demokratischen Ordnung sichern.

Regierungen müssen regulatorische Vorgaben, Wettbewerbsvorschriften und die staatliche Aufsicht so überarbeiten, dass sie den neuen Anforderungen der globalen, digitalen Wirtschaft gerecht werden. Unternehmen müssen sicherstel- len, dass ihre Geschäftsmodelle und Produkte im Einklang mit den verfassungs- mäßigen Rechten der Nutzer und mit der Integrität demokratischer Institutionen und Prozesse stehen. Und die Bürger müssen digitale Kompetenzen erwerben, um die Algorithmen und das Design hinter ihren Apps und Geräten sowie die zugrundeliegenden Mechanismen der Datenwirtschaft besser zu verstehen.

Die EU spielt in der Auseinandersetzung mit den Herausforderungen der digita- len Transformation eine Vorreiterrolle. Weltweit setzt sie Maßstäbe bei der Be- kämpfung von Desinformation und der Festlegung von rechtlichen und ethi- schen Standards für den Datenschutz und die KI-Entwicklung.

Digitalpolitik: KI, Big Data und die Zukunft der Demokratie

Siegeszug der Demokratie in den
letzten 30 Jahren				1
Zahl der Länder (Bevölkerung > 500 Tsd.)
120
100
80
60
40
20
0
1800	1850	1900	1950	2000

Demokratien Anokratien*

Autokratien

*Zwischenform zwischen Demokratie und Autokratie

Quelle: Center for Systemic Peace Polity iV Project

Anstieg der globalen Konnektivität	2

Internet-Nutzer (% der Bevölkerung)

100

80

60

40

20

0

1990

1992

1994

1996

1998

2000

2002

2004

2006

2008

2010

2012

2014

2016

2018

China EU

USA Welt

Quelle: Weltbank aus World Telecommunication/ICT Development Report and database

KI, Big Data und die Zukunft der Demokratie

Die Demokratie muss geschützt werden. Bürger, die in liberalen Demokratien aufgewachsen sind, sehen ihre verfassungsmäßig garantierten Rechte und Freiheiten häufig als selbstverständlich an und glauben, nichts könne diese grundlegende Ordnung erschüttern. Menschen, die in autoritären oder totalitä- ren Strukturen gelebt haben, sind dagegen für dieses Thema stärker sensibili- siert. Sie haben gelernt, dass die Demokratie nie als selbstverständlich anzuse- hen ist. Tatsächlich sind Demokratien wie diejenigen, die sich in den letzten 30 Jahren durchgesetzt haben, eine absolute Ausnahme in der Menschheitsge- schichte.

Mit Hilfe von Gewaltenteilung, unabhängigen Gerichten und Medienfreiheit schützen sich Demokratien gegen Versuche aus dem autoritären Lager, ihre Fundamente zur untergraben und zu stürzen. In den vergangenen Jahren hat sich jedoch in verschiedenen demokratischen Ländern rund um die Welt, darun- ter auch Staaten der Europäischen Union, gezeigt, dass diese Mechanismen durchaus fragil sein können.

Dies ist als Warnung zu verstehen: Demokratische Institutionen können für sich allein nicht ordnungsgemäß funktionieren. Dafür brauchen sie gut informierte und engagierte Bürger sowie deren politischen Vertreter. In dieser Hinsicht hat sich die digitale Transformation der beiden vergangenen Jahrzehnte zuneh- mend als zweischneidiges Schwert erwiesen.

Technologie ist für sich genommen politisch neutral. Digitale Technologien kön- nen gleichermaßen in den Dienst liberaler wie autoritärer Gesellschaftsentwürfe gestellt werden; sie können sowohl dazu dienen, Regierungen besser zur Re- chenschaft zu ziehen als auch Repression zu intensivieren. Dies soll jedoch nicht heißen, dass die technologische Entwicklung dagegen gefeit sei, einer be- stimmten politischen oder wirtschaftlichen Organisationsform Vorteile zu ver- schaffen. Neue Technologien sind vielmehr eine der treibenden Kräfte in der Menschheitsgeschichte. Wie sie Gesellschaften und politische Systeme formen, hängt jedoch davon ab, wie sie von Unternehmen und Regierungen umgesetzt werden und wie die Bürger damit umgehen.

Milliarden Menschen profitieren. Die Vorteile der digitalen Transformation der vergangenen Jahre für die zwischenmenschliche Kommunikation und Organisation sind kaum zu bestreiten. Der heute selbstverständliche Zugang zu Informa- tionen war noch vor wenigen Jahrzehnten unvorstellbar, gleichzeitig können sich die Menschen weltweit innerhalb von Sekunden austauschen und koordi- nieren. Für Milliarden von Menschen hat die digitale Transformation - sinnbild- lich verkörpert durch das Smartphone - enormen Nutzen und Annehmlichkeiten gebracht. Dies hat den gesellschaftlichen Diskurs um neue Formen der multila- teralen Kommunikation bereichert. Bürger, politische Verantwortungsträger und Regierungen nutzen ganz selbstverständlich soziale Medien wie Facebook oder Twitter, um in Kontakt zu treten und Standpunkte, Meinungen oder Vorschläge auszutauschen.

Zunächst hoffte man, dass die neuen Technologien zu einer Demokratisierungs- welle führen könnten. In den Neunzigerjahren, d.h. in den Anfangsjahren des World Wide Web, bestanden große Hoffnungen, dass die intensivere globale Vernetzung und rasche technologische Fortschritte zu einer neuen Demokrati- sierungswelle führen würden. Man glaubte, dass die Bürger mit der zunehmen- den Verbreitung der Technologie eine bessere demokratische Kontrolle aus- üben könnten und dass die Regierungen intensivere Rechenschaft über ihre Tä- tigkeit ablegen müssten.1 Noch während des Arabischen Frühlings zu Beginn

1	Foreign Affairs (12. Februar 2019). Does technology favor tyranny?

2 | 12. September 2019

EU-Monitor

Digitalpolitik: KI, Big Data und die Zukunft der Demokratie

Umfrage: "Fake News" und Demokratie	3
EU28, %
4 3
10
			45
38
		Ja, definitiv		Ja, teilweise
		Nein, nicht wirklich		Nein, sicher nicht
		Weiß nicht

Umfrage: Ist nach Ihrer Meinung die Existenz von Nachrichten oder Information, welche die Realität ungenau darstellen oder sogar falsch sind, ein Problem für die Demokratie im Allgemeinen? (EU28, %)

Quelle: Flash Eurobarometer 464 (April 2018)

dieses Jahrzehnts sah es so aus, als erfülle sich dieses Versprechen: Staatliche Zensur und Versammlungsverbote wurden in autoritären Staaten über soziale Medien umgangen.

Die dunkle Seite der Technologie. Nach der ersten Euphorie und der umfassen- den Einführung von Schlüsseltechnologien dauerte es einige Jahre, bis Indivi- duen, Bürgerrechtsgruppen, Regierungen und die Gesellschaft insgesamt all- mählich erkannten, welche Herausforderungen diese Technologien gleichzeitig mit sich bringen. Insbesondere die Skandale um Cambridge Analytica und Fa- cebook im Zusammenhang mit dem Brexit-Referendum sowie den US- Präsidentschaftswahlen im Jahr 2016 haben gezeigt, dass digitale Technologie auch in etablierten Demokratien eingesetzt werden kann, um Wähler bewusst zu manipulieren und den politischen Diskurs zu verzerren.

Die technologischen Entwicklungssprünge des letzten Jahrzehnts haben sich so rasch vollzogen, dass sowohl politische Entscheidungsträger als auch Marktteil- nehmer die entsprechenden Implikationen erst im Rückblick vollständig erfassen können. Hierin ist zweifelsohne eine der größten Herausforderungen für Gesetz- gebung und Regulierung im Hinblick darauf zu sehen, wie mit den Risiken be- stimmter Technologien für demokratische Institutionen und Prozesse umzuge- hen ist.

Die Anforderungen an jeden Einzelnen, die tägliche Informationsflut zu filtern und kritisch zu hinterfragen, sind deutlich gestiegen. Gleichzeitig haben sich durch die rasche Einbindung von Social Media-Plattformen in alle Lebensberei- che der Nutzer ganz neue Möglichkeiten der gezielten, personalisierten, auto- matisierten und häufig auch unbemerkten Einflussnahme ergeben. Gleichzeitig haben autoritäre Staaten rasch gelernt, wie sie Überwachungstechnologie, Mas- sendaten und künstliche Intelligenz zu ihrem Vorteil nutzen können - sei es, um die staatliche Kontrolle im Inland zu stärken, oder um demokratische Gesell- schaften im Ausland zu unterminieren.

Eine gänzlich neue Herausforderung für die Demokratie. Für Demokratien, de- ren Zusammenhalt auf Teilhabe und Zustimmung ihrer mündigen Bürger beruht, stellt dies eine ganz neue Herausforderung dar. Wie sie damit umgehen, wird sich entscheidend darauf auswirken, wie sie im intensiver werdenden Wettbe- werb der politischen Systeme bestehen.

Anhand der Erfahrungen der vergangenen Jahre und der stetig wachsenden Zahl von anekdotischen Belegen lassen sich einige Schlüsselbereiche ermitteln, in denen digitale Technologien die Demokratie potenziell aushöhlen und desta- bilisieren können:

• Fehlinformationen, Echokammern und gezielte Manipulation
• weitreichende Verschiebungen der finanziellen und politischen Einfluss- sphären in der Datenwirtschaft
• Verlust der Privatsphäre und sinkende Sensibilität der Nutzer
• persuasive Technologien und Abhängigkeit von sozialen Medien
• Erosion von Bürgerrechten durch algorithmische Voreingenommenheit ("algorithmic bias")
• Massenüberwachung und Stärkung von autoritären Strukturen
• Auswirkungen von KI und Automatisierung auf Wettbewerbsfähigkeit und die Unterstützung der Demokratie durch ihre Bürger

3 | 12. September 2019

EU-Monitor

Digitalpolitik: KI, Big Data und die Zukunft der Demokratie

Online dominiert den Nachrichtenkonsum	4
der Nutzer in den meisten Länden

Nachrichtenquelle, %

USA

100

80 75 72 72

60			58
		47	46
40				27
20				19
0

Online	TV	Print	Social
		2013		2019	media

Japan

100	85
80				69	63
	60	63
60
40					32		20
20							17
0
Online	TV		Print	Social
			2013			2019	media

Deutschland 100

				82
80	66	68	72	63
60
40					34	34
20							18
0
Online	TV		Print	Social
			2013			2019	media

Großbritannien

100
	74	75	79
80	71
60			59
			40
40			36
			20
20
0

Online	TV		Print	Social
						media
		2013			2019

Quelle: Reuters Institute Digital News Report 2019

Fehlinformationen, Echokammern und gezielte Manipulation

Die Auswirkungen der digitalen Transformation der vergangenen beiden Jahr- zehnte auf die Politik werden vor allem in der Kommunikation und dem Aus- tausch von Informationen zwischen Einzelnen und der Gesellschaft insgesamt sichtbar. Seit dem Anbeginn der Menschheitsgeschichte sind Propaganda, Des- information und Manipulation Standardwerkzeuge der Politik. Die allumfassende Vernetzung, immer preiswertere (mobile) Computertechnik und die schiere Ver- fügbarkeit von Daten haben jedoch in den vergangenen Jahren eine bisher un- gekannte, koordinierte Verbreitung von Fehlinformationen und personalisierter Manipulation ermöglicht. In dieser Beziehung wurde eine neue Ebene erreicht.

Inzwischen erfassen die politischen Entscheidungsträger und die Gesellschaf- ten allmählich einige der drängendsten Implikationen:

• Massenhafte, koordinierte Desinformation
• Mikrotargeting von Wählern
• Polarisierung des öffentlichen Dialogs in demokratischen Gesellschaften
• Hybride Kriegsführung und Misstrauen gegenüber demokratischen Instituti- onen und Regierungen
• striktere staatliche Kontrolle des Informationsflusses und der öffentlichen Meinung in autoritären Gesellschaften

Grundlegende Verschiebungen in der Medienlandschaft und Polarisierung der Gesellschaft. Die Disruption der traditionellen Kommunikationslandschaft, die zuvor von etablierten Medien dominiert wurde, durch digitale und multilaterale Kommunikation und Social Media-Plattformenstellt für demokratische Gesell- schaften eine beträchtliche Herausforderung dar. Im Prinzip kann das zusätzli- che Angebot an alternativen, multilateralen und weitgehend gratis verfügbaren Informationen und Nachrichten als Bereicherung der politischen Debatte und als Instrument angesehen werden, das Bürgern eine bessere Teilhabe ermöglicht, Korruption aufdeckt und Regierungen verantwortlich hält.

Allerdings werden die auf diesen Plattformen verbreiteten Informationen häufig nicht sorgsam überprüft; dazu kommt die inhärente Tendenz der eingesetzten Algorithmen, die Nutzer in ihren bestehenden Meinungen zu bestärken.

Dadurch können Fehlinformationen und Propaganda koordiniert verbreitet wer- den und es entstehen digitale Filterblasen oder Echokammern, welche wiede- rum die Gesellschaft polarisieren und den öffentlichen Dialog aushöhlen kön- nen.

Vormarsch von "Gratis"-Online-Medien fördert sensationsheischende Darstel- lung. Da immer mehr Menschen weltweit ihre Informationen größtenteils über Online-Medien,Newsfeeds und Social Media-Plattformenbeziehen, spielen diese inzwischen eine wichtige Rolle im politischen Prozess. Diese Veränderung des Nachrichtenkonsumverhaltens hat zu einem verstärkten Maß an Sensatio- nalismus in der Politik geführt. Begünstigt wird dies durch das Geschäftsmodell von Plattformen und Online-Journalismus,das tendenziell eher auf Emotionen als auf faktenbasierte Inhalte setzt.

Die zunehmende politische Spaltung und der Aufschwung des Populismus in demokratischen Gesellschaften sowie die Fragmentierung der Parteienland- schaft in den vergangenen Jahren fallen mit dem Aufstieg der sozialen Medien

4 | 12. September 2019

EU-Monitor

Digitalpolitik: KI, Big Data und die Zukunft der Demokratie

Geringes Vertrauen in Nachrichten:	5
Ein globales Phänomen

Vertrauen in Nachrichten, % der Nutzer 100

80

60

40

20

0

Alle US JP DE GB

Länder

generelle Nachrichten

Nachrichten, die ich nutze

Nachrichten über Suchanfrage Nachrichten in sozialen Medien

Alle Länder: 24 aus Europa, 7 aus Asien, 6 aus Amerika, 1 aus Afrika

Quelle: Reuters Institute Digital News Report 2019

und dem steigenden Vernetzungsgrad zusammen und können zumindest zum Teil auf diese Entwicklung zurückgeführt werden.2

Neue Dimensionen von Cyberkonflikten und autoritärer Kontrolle. Aus geopoliti- scher Sicht hat die "hybride Kriegsführung" durch neue und immer billigere Technologien an Bedeutung gewonnen. Autoritäre Regierungen, die demokrati- sche Staaten in Misskredit bringen und unterhöhlen sowie ausländische Wähler manipulieren wollen, haben über das offene Internet Zugang zur freien Kommu- nikation in demokratischen und liberalen Gesellschaften. Gleichzeitig schränken diese Regierungen den Zugang ihrer eigenen Bürger zu Informationen aus dem Ausland ein, indem sie das Internet im eigenen Land abschotten, Zensur aus- üben und gleichzeitig die öffentliche Meinung über Online-Medienund Plattfor- men kontrollieren und steuern.

Nutzer und Bürger im In- und Ausland werden unter anderem durch die Verbrei- tung unzutreffender oder hochgradig irreführender Informationen durch soziale "Bots" beeinflusst, d.h. Softwareanwendungen, die menschliches Verhalten über automatisch betriebene Social Media-Konten nachahmen, um die öffentliche Meinung zu beeinflussen. Der rasche Fortschritt der KI-Technologie ermöglicht zudem immer ausgefeiltere "Deep Fakes", bei denen Audio- und Videoinhalte manipuliert oder gefälscht werden. So können Fehlinformationen und Propaganda verbreitetet werden, die weit über Chat-Kommentare oder Faked News- Artikel hinausgehen.

Vertrauensverlust. Durch die anhaltende Verbreitung von Verschwörungstheo- rien und anderen unwahren bzw. verzerrten Informationen schwinden die Fähig- keit der Bürger, "objektive" Wahrheiten oder Aussagen, auf die man sich einigen kann, zu erkennen. Dies kann zu einem generellen Misstrauen gegenüber allen Medien, zu Fatalismus und zu mangelndem Engagement in Teilen der Bevölke- rung führen, was wiederum den gesellschaftlichen Dialog ernsthaft in Mitleiden- schaft zieht und politische Gegensätze verschärft.3

Vor allem angesichts neuer Entwicklungen und komplexer Themen wird dies zur Herausforderung, da die Menschen hier nicht auf eigene (kollektive) Erfahrun- gen zurückgreifen können.4 Der Vertrauensverlust leistet autoritären Regimen Vorschub, die diejenigen demokratischen Gesellschaften destabilisieren wollen, welche den Anspruch eben dieser Regimes auf uneingeschränkte Macht infrage stellen. Gleichzeitig hilft der Vertrauensverlust diesen Regimen dabei, das libe- rale demokratische Modell ihrer eigenen Bevölkerung gegenüber als vermeint- lich dysfunktional, heuchlerisch und dekadent darzustellen.

Wie das Ausland über soziale Medien Einfluss nehmen und Wähler manipulie- ren kann, hat sich bisher insbesondere 2016 bei den Präsidentschaftswahlen in den USA und beim Brexit-Referendum in Großbritannien gezeigt.

Russland und die US-Präsidentschaftswahlen im Jahr 2016. In Russland kam der in diesem Jahr veröffentlichte "Mueller-Report"zu dem Schluss, dass "die russische Regierung umfassend und systematisch in die Präsidentschaftswah- len im Jahr 2016 eingegriffen" habe. Dem Bericht zufolge erreichte die in Russ- land basierte "Internet Research Agency" Millionen von US-amerikanischenSocial Media-Nutzernüber Social Media-Kontenauf Facebook, Twitter oder Ins- tagram, die angeblich von US-Aktivistenbetrieben wurden. Die Social Media- Kampagne habe das Ziel gehabt, "in den USA eine politische Spaltung zu pro- vozieren und zu verstärken", und habe "den Kandidaten Trump [im Wahlkampf] begünstigt". Die zweite große Kampagne war ein Hackerangriff des russischen

1. Europäisches Parlament (2019). Polarisation and the use of technology in political campaigns and communication.
2. Deibert, R. (2019). The Road to Digital Unfreedom: Three Painful Truths about Social Medial. Journal of Democracy, Januar 2019.
3. Schneider, Stefan (2017). Vox populi, vox dei oder etwa nicht? Deutsche Bank Research. Deutschland-Monitor.

5 | 12. September 2019

EU-Monitor