The Taxonomy

A shared vocabulary for describing technology.

Each category is a question people ask about a technology, and its elements are the answers. Choose a category, then an element, to see its icon and what it means. New to the terms? Read the concepts.

Deutsch: machine reviewed translation.It has not been checked by a fluent reviewer.Translation status

Risiken und Gegenmaßnahmen

Elements 11

Welche Risiken gibt es und wie werden sie gemindert?

Die Risiken, die von diesem System ausgehen könnten, und wie ihnen begegnet wird.

About this category

Risiken und Gegenmaßnahmen

Welche Risiken gibt es und wie werden sie gemindert?

Die Risiken, die von diesem System ausgehen könnten, und wie ihnen begegnet wird.

Datachain

Answer: Not every system carries a risk worth naming. Answer it whenever a risk is known.
Icon shape: Guardrails: what could go wrong and what you can do about it.

Variables

Beschreibung des Risikos Required
Beschreibung der Gegenmaßnahme Optional

Sources

A Collaborative, Human-Centred Taxonomy of AI, Algorithmic, and Automation HarmsAbercrombie et al. (2024). arXiv:2407.01294. CC BY-SA 4.0.

Verlust der SelbstbestimmungDas Risiko, dass dieses System die Fähigkeit einer Person einschränkt, eigene Entscheidungen zu treffen, über die eigene Identität zu bestimmen oder frei zu wählen. Dazu gehören Risiken durch eingeschränkten Zugang zu Alternativen, irreführende Gestaltung, die Entscheidungen in eine bestimmte Richtung lenkt, und das Fehlen einer echten Einwilligung. Mögliche Gegenmaßnahmen sind Widerspruchsmöglichkeiten, transparente Empfehlungen, Voreinstellungen, die die Entscheidungsfreiheit schützen, und menschliche Überprüfung folgenreicher Entscheidungen.

Eingriffe in GrundrechteDas Risiko, dass dieses System grundlegende Menschenrechte und Freiheitsrechte beeinträchtigt – Meinungs-, Versammlungs- und Bewegungsfreiheit, faires Verfahren oder Freiheit von willkürlicher Überwachung. Dazu gehören Risiken durch massenhafte Gesichtserkennung, vorausschauende Polizeiarbeit, Zensur rechtmäßiger Äußerungen und Einschüchterungseffekte bei Protesten. Mögliche Gegenmaßnahmen sind strenge Zweckbindung, richterliche oder unabhängige Aufsicht, eng begrenzte Speicherdauer und menschenrechtliche Folgenabschätzungen vor dem Einsatz.

UmweltschädenDas Risiko, dass dieses System die Umwelt schädigt – durch Energieverbrauch, Wasserverbrauch, Elektroschrott, CO₂-Emissionen oder den Rohstoffabbau für Hardware. Dazu gehören Risiken durch den Rechenaufwand beim Training, den Dauerbetrieb der Modelle, den Kühlbedarf von Rechenzentren und den schnellen Austausch von Hardware. Mögliche Gegenmaßnahmen sind Ziele für Energie- und Wassereffizienz, transparente Berichte über den Rechenaufwand, eine Planung des Hardware-Lebenszyklus und die Beschaffung erneuerbarer Energie für den Betrieb von Rechenzentren.

Finanzielle und geschäftliche SchädenDas Risiko, dass dieses System Einzelpersonen finanzielle Verluste oder Organisationen Schaden zufügt – durch fehlerhafte Preise, verweigerte Dienstleistungen, Betrug oder Marktmanipulation. Dazu gehören Risiken durch automatisierte Kreditentscheidungen, Ungerechtigkeiten bei dynamischen Preisen, KI-gestützte Betrugsmaschen und Störungen von Lieferketten durch Missbrauch. Mögliche Gegenmaßnahmen sind Schutzvorkehrungen für die Bezahlbarkeit, Fairness-Prüfungen von Preismodellen, mehrstufige Betrugserkennung und klare Beschwerde- und Abhilfeverfahren.

Personen- und SachschädenDas Risiko, dass die Ergebnisse dieses Systems zu Verletzungen von Personen oder zu Sachschäden führen. Dazu gehören Risiken durch autonome Fahrzeuge, Roboterbewegungen, fehlerhafte Navigationshinweise oder Fehler in kritischer Infrastruktur, die Menschen oder Sachwerte gefährden. Mögliche Gegenmaßnahmen sind strenge Sicherheitstests, ausfallsichere Voreinstellungen, Geofencing für gefährliches Verhalten und menschliche Aufsicht über physische Handlungen mit hohem Risiko.

Politische und wirtschaftliche SchädenDas Risiko, dass dieses System den politischen Diskurs manipuliert, in Wahlen eingreift, Marktmacht konzentriert oder öffentliche Institutionen beschädigt. Dazu gehören Risiken durch synthetische Medien, die auf Wahlberechtigte zielen, undurchsichtige gezielte Werbung, Wettbewerbsverzerrung durch monopolartigen Zugang zu Daten und Rechenleistung sowie schwindendes Vertrauen in Institutionen. Mögliche Gegenmaßnahmen sind die Kennzeichnung synthetischer Inhalte, kartellrechtliche Beobachtung der KI-Märkte, Prüfzugang für Aufsichtsbehörden und Transparenzpflichten für politische Werbung.

Verlust der PrivatsphäreDas Risiko, dass dieses System mehr über Menschen erfasst, ableitet oder offenlegt, als sie erwarten oder als sie zugestimmt haben. Dazu gehören Risiken durch das Nachverfolgen der Bewegungen von Menschen über längere Zeit, die Re-Identifizierung von Daten, die anonym bleiben sollten, das Verknüpfen von Datensätzen aus mehreren Systemen zu Profilen und die Weiterverwendung von Daten für andere als den angegebenen Zweck. Mögliche Gegenmaßnahmen sind die Beschränkung auf die nötigen Daten, die Verarbeitung auf dem Gerät, Anonymisierung schon bei der Erfassung, kurze Speicherfristen und Datenschutz-Folgenabschätzungen vor dem Einsatz.

Psychische SchädenDas Risiko, dass dieses System direkt oder indirekt das seelische Wohlbefinden oder die psychische Gesundheit beeinträchtigt. Dazu gehören Risiken durch süchtig machende Rückkopplungsschleifen, Belastung durch Überwachung, Belästigung durch generierte Inhalte und Ängste durch automatisierte Ablehnungen. Mögliche Gegenmaßnahmen sind Inhaltswarnungen, Schutzvorkehrungen für das Wohlbefinden, altersgerechte Gestaltung, leicht erreichbare Hilfsangebote und Begrenzungen für Verhalten, das auf möglichst intensive Nutzung abzielt.

RufschädigungDas Risiko, dass dieses System den Ruf von Einzelpersonen, Gruppen oder Organisationen schädigt – durch falsche Identifizierung, falsche Einordnung oder stigmatisierende Zuschreibungen. Dazu gehören Risiken durch ungenaue Gesichtserkennung, verleumderische generierte Inhalte und unfaire öffentliche Bewertungen, die Menschen von einem Zusammenhang in den nächsten verfolgen. Mögliche Gegenmaßnahmen sind Mindestwerte für die Genauigkeit, bevor Zuschreibungen öffentlich sichtbar werden, menschliche Überprüfung folgenreicher Identifizierungen, Verfahren zur Entfernung und klare Rechte auf Berichtigung.

Sicherheitsverletzungen und DatenpannenDas Risiko, dass Unbefugte auf dieses System oder die darin gespeicherten Daten zugreifen, sie stehlen, verändern oder die Kontrolle darüber übernehmen. Dazu gehören Risiken durch gehackte Kameras oder Sensoren, Datenlecks aus Datenbanken, abgefangene Übertragungen, Missbrauch durch Personen mit internem Zugang und Manipulationen, durch die ein System falsche Angaben macht oder falsch handelt. Mögliche Gegenmaßnahmen sind Verschlüsselung bei Speicherung und Übertragung, strenge Zugriffskontrollen, regelmäßige Sicherheitstests, zeitnahe Software-Updates und die Benachrichtigung betroffener Personen bei einer Datenpanne.

Gesellschaftliche und kulturelle SchädenDas Risiko, dass dieses System Gemeinschaften oder der Kultur schadet – durch schwindendes Vertrauen, den Verlust sprachlicher und kultureller Vielfalt oder eine ungesunde Abhängigkeit von undurchsichtigen Systemen. Dazu gehören Risiken durch massenhafte Falschinformationen, die Vereinheitlichung kulturellen Ausdrucks, die Verdrängung lokalen Wissens und die Verschlechterung öffentlicher Informationsräume. Mögliche Gegenmaßnahmen sind mehrsprachige Angebote, Partnerschaften mit betroffenen Gemeinschaften, Herkunftshinweise an generierten Inhalten und Investitionen in Modelle für lokale Sprachen und lokale Zusammenhänge.

Politische und wirtschaftliche Schäden

Das Risiko, dass dieses System den politischen Diskurs manipuliert, in Wahlen eingreift, Marktmacht konzentriert oder öffentliche Institutionen beschädigt. Dazu gehören Risiken durch synthetische Medien, die auf Wahlberechtigte zielen, undurchsichtige gezielte Werbung, Wettbewerbsverzerrung durch monopolartigen Zugang zu Daten und Rechenleistung sowie schwindendes Vertrauen in Institutionen. Mögliche Gegenmaßnahmen sind die Kennzeichnung synthetischer Inhalte, kartellrechtliche Beobachtung der KI-Märkte, Prüfzugang für Aufsichtsbehörden und Transparenzpflichten für politische Werbung.

Variables

Beschreibung des Risikos Required
Beschreibung der Gegenmaßnahme Optional