Erste Kontrolle einer KI-Applikation
Künstliche Intelligenz (KI) kommt zunehmend auch bei öffentlichen Organen des Kantons Zürich zum Einsatz. So setzen diese zunehmend Chatbots ein, um Fragen der Bevölkerung automatisch zu beantworten. Solche Systeme sollen den Aufwand der Verwaltung reduzieren und einfache Anfragen rasch beantworten, zum Beispiel zur Abfallentsorgung oder zu Fristen bei Steuerangelegenheiten.
Zahlreiche öffentliche Organe haben in den letzten Jahren solche Systeme eingeführt, ohne dass zuvor eine Vorabkontrolle bei der Datenschutzbeauftragten stattgefunden hat. Den Einsatz solcher Anwendungen beurteilen öffentliche Organe oft als unkritisch, weil sie nur mit öffentlich zugänglichen Informationen arbeiten und keine Entscheidungen treffen. Jedoch zeigen weltweite Vorfälle, wie scheinbar einfache KI‑Applikationen datenschutzrechtliche Risiken mit sich bringen. Vor diesem Hintergrund führte die Datenschutzbeauftragte eine Kontrolle eines solchen Systems durch.
Der Einsatz von Chatbots kann datenschutzrechtliche Risiken mit sich bringen. Die Systeme arbeiten in der Regel mit Freitextfeldern. Nutzerinnen und Nutzer formulieren ihre Anliegen dort häufig so, wie sie diese auch einer Mitarbeiterin oder einem Mitarbeiter einer Behörde schildern würden. Dabei können auch sensitive Personendaten eingegeben werden, zum Beispiel AHV-Nummern oder persönliche Angaben zu individuellen Anliegen, selbst wenn dies für die Nutzung des Chatbots nicht vorgesehen ist. Zudem kann der Eindruck entstehen, dass die Kommunikation besonders vertrauenswürdig ist, weil ein öffentliches Organ hinter dem Angebot steht.
Viele Chatbots basieren auf kommerziellen KI-Modellen externer Anbieter. Werden dabei Daten an Dritte übermittelt, handelt es sich datenschutzrechtlich um eine Auftragsdatenbearbeitung.
Der von der Datenschutzbeauftragten geprüfte Chatbot beantwortet einfache Anfragen von Besucherinnen und Besuchern der Website. Er hilft dabei, Informationen auf der Website schneller zu finden, zum Beispiel zu Dienstleistungen oder Zuständigkeiten.
Der Chatbot arbeitet ausschliesslich mit öffentlichen Informationen. Er greift auf Inhalte zu, die bereits auf der Website des öffentlichen Organs publiziert sind. Ein Zugriff auf interne Systeme oder nicht öffentliche Daten ist nicht vorgesehen. Dennoch besteht ein Risiko: Werden vertrauliche Informationen versehentlich auf der Website veröffentlicht, kann der Chatbot diese Inhalte ebenfalls aufgreifen und in Antworten wiedergeben. Dadurch könnten sensitive Informationen einfacher gefunden und abgefragt werden als auf der Website selbst.
Die Kontrolle umfasste eine Prüfung der datenschutzrechtlichen Rahmenbedingungen des Chatbots. Geprüft wurden insbesondere die vertraglichen Grundlagen sowie die organisatorischen und technischen Rahmenbedingungen des Einsatzes.
Die Kontrolle zeigte, dass Chatbots besondere Herausforderungen für den Datenschutz und auch für die öffentlichen Organe mit sich bringen.
Zu diesem Zweck prüfte die Datenschutzbeauftragte die vorhandenen Unterlagen zum System. Es wurde insbesondere geprüft, ob die Applikation getestet und dokumentiert wurde, wer Zugriff auf das System hat und wie dieser Zugriff ausgestaltet ist sowie welche vertraglichen Regelungen bestehen.
Bei Gesprächen mit den verantwortlichen Mitarbeitenden zeigte sich, dass die Applikationen nicht über den vorgesehenen Beschaffungsprozess eingeführt wurden. Da der Chatbot nur mit öffentlich zugänglichen Informationen arbeitet, wurde das System als unkritisch eingestuft. Dadurch wurden Risiken teilweise unterschätzt oder nicht systematisch beurteilt.
Die Kontrolle zeigte aber keine Hinweise auf Konfigurationsfehler. Der Chatbot greift nur auf die vorgesehenen Daten zu. Für die Veröffentlichung von Informationen auf der Website besteht ein definierter Prozess, der sicherstellt, dass nur geprüfte Inhalte in den Datenbestand des Chatbots gelangen.
Die Kontrolle offenbarte mehrere Punkte, bei denen Verbesserungen notwendig sind.
Für den Einsatz des Systems fehlen klar geregelte vertragliche Grundlagen mit den eingesetzten Diensten. Dadurch bleibt teilweise unklar, unter welchen Rahmenbedingungen Daten bearbeitet werden.
Zudem ist die Anbindung an externe Dienste nur begrenzt nachvollziehbar. Anforderungen an Transparenz und Nachvollziehbarkeit der Datenbearbeitung sind nicht klar definiert.
Schliesslich bestehen auch technische Risiken, die für KI-Systeme typisch sind. Dazu gehören insbesondere fehlerhafte Antworten (Halluzinationen) sowie mögliche Manipulationen der Eingaben, zum Beispiel durch sogenannte Prompt-Injection-Angriffe. Dabei versuchen Nutzerinnen oder Nutzer, das System mit gezielten Eingaben zu beeinflussen oder zu missbrauchen, etwa um unerwünschte Inhalte auszugeben, zweckfremde Aufgaben zu erledigen oder Schutzmechanismen zu umgehen.
Aufgrund dieser Feststellungen hielt die Datenschutzbeauftragte verschiedene Massnahmen fest.
Zunächst sind die vertraglichen Grundlagen mit den eingesetzten Diensten kritisch zu prüfen. Insbesondere ist zu klären, unter welchen Bedingungen Daten bearbeitet werden und welche Pflichten für die beteiligten Anbieter gelten.
Weiter empfahl sie, organisatorische und technische Massnahmen zur Überwachung des Systems zu ergreifen. Dazu gehört insbesondere eine Kontrolle der Nutzung, damit ungewöhnliche oder missbräuchliche Verwendungen frühzeitig erkannt werden können. Zudem sollten geeignete Massnahmen zum Schutz gegen Manipulationen der Eingaben umgesetzt werden.
Die Kontrolle zeigte, dass Chatbots besondere Herausforderungen für den Datenschutz und auch für die öffentlichen Organe mit sich bringen. Freitextfelder laden Nutzerinnen und Nutzer dazu ein, auch sensitive Personendaten einzugeben. Zudem ist für viele Personen nicht immer klar, ob sie mit einem automatisierten System oder mit einer Auskunftsstelle eines öffentlichen Organs kommunizieren.
Sie zeigte auch, dass die vertraglichen Grundlagen mit den eingesetzten Diensten sorgfältig geprüft werden müssen. Viele Anbieter behalten sich vor, eingegebene Daten für eigene Zwecke zu verwenden, zum Beispiel zur Verbesserung ihrer Produkte.
Beim Einsatz von Chatbots bleibt das öffentliche Organ für die Bearbeitung der Daten verantwortlich, auch wenn die technische Lösung von einem externen Dienstleister bereitgestellt wird.
Weiter ist zu berücksichtigen, dass KI-Systeme fehlerhafte Antworten geben können. Nutzerinnen und Nutzer sollten deshalb erkennen können, dass sie mit einer KI-Applikation kommunizieren. Zudem sollte klar sein, wo fehlerhafte Antworten gemeldet werden können.
Schliesslich können auch aus öffentlich publizierten Informationen Rückschlüsse auf einzelne Personen gezogen werden. Bei der Verwendung solcher Daten durch Chatbots ist deshalb besondere Sorgfalt erforderlich.