Wie nutzen Menschen ihr Smartphone tatsächlich – und welche Inhalte begegnen ihnen dabei in Apps, sozialen Netzwerken oder Messengern? Mit dieser Frage beschäftigt sich das Forschungsprojekt „SCREEN – Smartphone Content Research EcosystEm for TrackiNg“, an dem Prof. Dr. Philipp Krieter vom Fachbereich Medien der Hochschule Düsseldorf (HSD) beteiligt ist. Gemeinsam mit Forschenden von GESIS – Leibniz-Institut für Sozialwissenschaften und der Universität Bremen entwickelt er eine neue technische Infrastruktur, mit der die Smartphone-Nutzung wissenschaftlich untersucht werden kann, ohne sensible Bildschirminhalte zentral zu speichern. Die Deutsche Forschungsgemeinschaft (DFG) fördert das auf drei Jahre angelegte Verbundprojekt. Für den Projektteil an der HSD wurden Mittel in Höhe von rund 291.000 Euro bewilligt.
„Das Smartphone ist für die meisten Menschen längst ein zentraler Zugang zu Information, Kommunikation und Unterhaltung. Für die Forschung ist es deshalb entscheidend, nicht nur zu wissen, wie lange Menschen ihr Smartphone nutzen, sondern auch, mit welchen Inhalten sie tatsächlich in Kontakt kommen. Gleichzeitig handelt es sich dabei um hochsensible Daten. Mit SCREEN wollen wir zeigen, dass sich aussagekräftige Forschung und konsequenter Datenschutz miteinander verbinden lassen“, sagt Philipp Krieter, Professor für Mathematik, Physik und Machine Learning.
Bislang stützt sich ein großer Teil der Forschung zur Smartphone-Nutzung auf Befragungen. Teilnehmer*innen geben beispielsweise an, wie häufig sie bestimmte Apps verwenden oder wie viel Zeit sie mit Nachrichten und sozialen Medien verbringen. Solche Selbstauskünfte sind jedoch nur bedingt genau. Gleichzeitig können bestehende technische Tracking-Verfahren zwar detailliertere Informationen liefern, sind aber häufig auf einzelne Anwendungen beschränkt oder erfassen große Mengen sensibler Daten.
SCREEN setzt deshalb auf einen anderen Ansatz: Die für die Forschung relevanten Informationen sollen direkt auf dem Smartphone erkannt und verarbeitet werden. Private Bildschirmaufnahmen verlassen das Gerät nicht und werden nach der Verarbeitung gelöscht. Lediglich anonymisierte oder pseudonymisierte Informationen, die für die jeweilige Forschungsfrage benötigt werden, werden anschließend für die wissenschaftliche Auswertung bereitgestellt.
Automatisierte Analyse der Bildschirmaktivitäten
Technische Grundlage ist ein von Krieter und weiteren Forschenden bereits entwickelter Ansatz, bei dem Bildschirmaktivitäten automatisiert analysiert werden. Künftig soll die Software beispielsweise erkennen können, ob zuvor festgelegte Begriffe oder Themen in unterschiedlichen Apps und Medienformaten auftauchen. Dazu werden Verfahren des maschinellen Lernens und der automatisierten Texterkennung eingesetzt. Parallel dazu soll ein zweites Modul erfassen, welche Apps wie lange genutzt werden. Anders als bei herkömmlichen Verfahren steht damit nicht allein die Bildschirmzeit im Mittelpunkt: Wissenschaftler*innen können untersuchen, welche konkreten digitalen Inhalte Menschen erreichen und in welchem Nutzungskontext dies geschieht.
Welche Bedeutung das hat, zeigt sich beispielsweise bei der Erforschung des Nachrichtenkonsums. In einer Pilotstudie soll SCREEN untersuchen, in welchem Verhältnis die tatsächlich erfasste Nachrichtennutzung und die eigene Wahrnehmung der Nutzer*innen stehen. Die Tracking-Daten werden dazu mit mobilen Befragungen kombiniert. So lässt sich unter anderem erforschen, wann und wie Menschen Nachrichten konsumieren, wie gut sie sich über das aktuelle Geschehen informiert fühlen und welche Zusammenhänge zwischen Nachrichtennutzung und Wohlbefinden bestehen. Damit soll zugleich überprüft werden, wie zuverlässig und alltagstauglich die neu entwickelte Forschungssoftware unter realen Bedingungen funktioniert.
Das Projekt verfolgt dabei nicht nur eine einzelne Forschungsfrage, sondern schafft eine Infrastruktur für künftige Untersuchungen in den Sozial- und Verhaltenswissenschaften. Die SCREEN-Module werden in das bereits bestehende GESIS AppKit integriert, eine Open-Source-Infrastruktur für mobile wissenschaftliche Befragungen. Die Software soll intensiv technisch getestet und gemeinsam mit Forschenden sowie Studierenden auf ihre Nutzerfreundlichkeit geprüft werden. Perspektivisch wollen die Projektpartner zudem untersuchen, inwieweit für Smartphones optimierte KI-Sprachmodelle und multimodale KI-Modelle eingesetzt werden können, um textliche und visuelle Inhalte direkt auf dem Endgerät wissenschaftlich zu klassifizieren – weiterhin mit dem Grundsatz, sensible Ausgangsdaten möglichst auf dem Smartphone selbst zu verarbeiten.
Neben Prof. Dr. Philipp Krieter von der Hochschule Düsseldorf sind Prof. Dr. Cornelius Puschmann von der Universität Bremen sowie Dr. Lukas Rahnke-Otto und Dr. Mareike Wieland von GESIS am Projekt beteiligt. Krieter verantwortet insbesondere die Entwicklung der mobilen Tracking- und Logging-Software sowie Arbeiten zur Erprobung weiterführender KI-basierter Analyseverfahren. Das Projekt ist auf eine Laufzeit von 36 Monaten angelegt.
