====== KI-Leitlinien verabschieden ====== Leitlinien und Normen dienen in vielen Bereichen des alltäglichen Lebens als Standards für Verfahren oder Prozesse. Sie geben an, wie Technologien gestaltet werden sollen oder wie ein Prozess optimal abläuft. Leitlinien können einen Rahmen vorgeben. Als Vorlage dient ein Konzept für KI-Leitlinien auf europäischer Ebene (1) wie auch freiwillige von Unternehmen selbst definierte KI-Leitlinien (2). ===== (1) Auf europäischer Ebene gibt es ein Konzept für KI-Systeme, das verschiedene Leitlinien umfasst: ===== **Vorrang menschlichen Handelns und menschlicher Aufsicht** {{:vertrauen:phase1:modul3:mj_ki_leitlinien_verabschieden_vorrang_menschlichen_handelns.svg?200x200 |}} KI-Systeme sollten Menschen dabei helfen, bessere Entscheidungen zu treffen und ihre eigenen Ziele zu erreichen. Es ist wichtig, dass KI-Systeme die Autonomie der Menschen nicht einschränken oder manipulieren. Das Wohl des Nutzenden sollte dabei im Mittelpunkt stehen. Menschliche Aufsicht ist entscheidend, um sicherzustellen, dass KI-Systeme die menschliche Autonomie nicht beeinträchtigen oder negative Auswirkungen haben. Je nach Art des KI-Systems und seines Anwendungsbereichs sollten angemessene Kontrollmaßnahmen vorhanden sein, die Aspekte wie Anpassungsfähigkeit, Genauigkeit und Erklärbarkeit berücksichtigen. Die Aufsicht kann durch verschiedene Mechanismen erfolgen, z.B. die Einbindung eines Menschen während der Nutzung, die Überprüfung und Kontrolle durch einen Menschen oder die vollständige Kontrolle durch einen Menschen. Es ist jedoch wichtig, sicherzustellen, dass die Aufsichtsbehörden jederzeit in der Lage sind, ihre Aufgaben entsprechend wahrzunehmen. Wenn ein KI-System weniger menschliche Aufsicht ermöglicht, sollte es vorher gründlich getestet werden und die Lenkung und Kontrolle strenger sein, selbst wenn das System ansonsten gleich ist. ---- **Technische Robustheit und Sicherheit ** {{:vertrauen:phase1:modul3:mj_ki_leitlinien_verabschieden_technische_robustheit.svg?200x200 |}} Eine vertrauenswürdige KI benötigt sichere und zuverlässige Algorithmen, die Fehler bewältigen und angemessen mit fehlerhaften Ergebnissen umgehen können. KI-Systeme sollten widerstandsfähig gegen Angriffe und Manipulationen sein und eine Rückfallstrategie haben. Genauigkeit in den Entscheidungen und reproduzierbare Ergebnisse sind wichtig. KI-Systeme sollten über Schutz- und Sicherheitsvorkehrungen verfügen, um die Sicherheit aller Beteiligten zu gewährleisten. Risiken im Zusammenhang mit dem Einsatz von KI-Systemen sollten geklärt und bewertet werden. ---- **Privatsphäre und Datenqualitätsmanagement ** {{:vertrauen:phase1:modul3:mj_ki_leitlinien_verabschieden_privatsphaere_und_datenqualitaetsmanagement.svg?300x300 |}} Der Schutz der Privatsphäre und der Datenschutz müssen während des gesamten Lebenszyklus eines KI-Systems gewährleistet sein. KI-Systeme können aus digitalen Aufzeichnungen über das menschliche Verhalten nicht nur persönliche Vorlieben, Alter und Geschlecht, sondern auch sexuelle Ausrichtung, religiöse oder politische Ansichten ableiten. Um das Vertrauen der Menschen in die Datenverarbeitung zu gewährleisten, müssen sie die volle Kontrolle über ihre eigenen Daten behalten und dürfen nicht geschädigt oder diskriminiert werden. Neben dem Schutz der Privatsphäre und personenbezogener Daten müssen hochwertige KI-Systeme weitere strenge Anforderungen erfüllen. Die Qualität der verwendeten Datensätze ist entscheidend für die Leistungsfähigkeit der KI-Systeme. Es können sozial bedingte Verzerrungen bei der Datenerfassung auftreten, und die Daten können Ungenauigkeiten, Fehler und andere Mängel enthalten. Solche Probleme müssen vor der Schulung eines KI-Systems mit einem bestimmten Datensatz behoben werden. Die Integrität der Daten muss ebenfalls gewährleistet sein. Die verwendeten Prozesse und Datensätze müssen in allen Phasen wie Planung, Schulung, Test und Einsatz getestet und dokumentiert werden. Dies gilt auch für KI- Systeme, die von externen Quellen erworben werden. Der Zugang zu den Daten muss angemessen geregelt und kontrolliert werden. ---- **Transparenz ** {{:vertrauen:phase1:modul3:mj_ki_leitlinien_verabschieden_tranzparenz.svg?200x200 |}} Die Rückverfolgbarkeit von KI-Systemen muss gewährleistet werden. Sowohl die getroffenen Entscheidungen des Systems als auch der gesamte Prozess, der zur Entscheidung geführt hat, müssen protokolliert und dokumentiert werden. Dies umfasst die Beschreibung der Datenerfassung, Datenbenennung und verwendeten Algorithmen. Wenn möglich, sollte eine verständliche Erklärung des algorithmischen Entscheidungsprozesses für die beteiligten Personen bereitgestellt werden. Die laufenden Forschungsarbeiten zur Entwicklung von Erklärungsmechanismen sollten fortgesetzt werden. Es sollten auch Erläuterungen dazu vorliegen, wie ein KI-System den Entscheidungsprozess der Organisation beeinflusst und formt, sowie die Gründe für den Systementwurf und dessen Einführung (um sowohl die Daten- und Systemtransparenz als auch die Transparenz des Geschäftsmodells sicherzustellen). Es ist auch wichtig, den verschiedenen Beteiligten die Fähigkeiten und Grenzen des KI-Systems in einer angemessenen Weise mitzuteilen, die ihrer Nutzung entspricht. KI-Systeme sollten erkennbar sein, damit die Nutzer immer wissen, wann sie mit einem KI-System arbeiten und wer dafür verantwortlich ist. ---- **Vielfalt, Nichtdiskriminierung und Fairness** {{:vertrauen:phase1:modul3:mj_ki_leitlinien_verabschieden_vielfalt_nichtdiskriminierung_und_fairness.svg?200x200 |}} Die verwendeten Datensätze von KI-Systemen (sowohl während der Schulung als auch im Betrieb) können unbeabsichtigte historische Verzerrungen aufweisen, unvollständig sein und auf fragwürdigen Lenkungs- und Kontrollmodellen basieren. Die Fortführung solcher Verzerrungen könnte zu direkter oder indirekter Diskriminierung führen. Es besteht auch das Risiko von Schaden durch die absichtliche Ausnutzung von Vorurteilen seitens der Verbraucher oder durch unlauteren Wettbewerb. Die Art und Weise, wie KI-Systeme entwickelt werden, einschließlich des Programmiercodes der Algorithmen, kann ebenfalls von bestimmten Einflüssen beeinträchtigt sein. Diese Bedenken sollten von Beginn der Systementwicklung an berücksichtigt werden. Die Bildung vielfältiger und inklusiver Entwicklungsteams sowie die Einbeziehung von Mechanismen zur Beteiligung, insbesondere von Bürgern, können dazu beitragen, solche Bedenken auszuräumen. Es ist auch ratsam, alle betroffenen Interessengruppen, die während des gesamten Lebenszyklus des Systems direkt oder indirekt betroffen sein können, zu konsultieren. KI-Systeme sollten die gesamte Bandbreite menschlicher Fähigkeiten, Fertigkeiten und Anforderungen berücksichtigen und durch ein universelles Designkonzept Barrierefreiheit gewährleisten, um Menschen mit Behinderungen einen gleichberechtigten Zugang zu ermöglichen. ---- **Gesellschaftliches und ökologisches Wohlergehen ** {{:vertrauen:phase1:modul3:mj_ki_leitlinien_verabschieden_gesellschaftliches_und_oekologisches_wohlergehen.svg?300x300 |}} Um sicherzustellen, dass KI-Systeme vertrauenswürdig sind, sollten ihre Auswirkungen auf die Umwelt und andere Lebewesen berücksichtigt werden. Es ist erstrebenswert, dass alle Menschen, einschließlich zukünftiger Generationen, in einer biodiversen und lebenswerten Umwelt leben können. Daher sollte die Nachhaltigkeit und ökologische Verantwortung von KI-Systemen gefördert werden. Das gilt auch für KI-Lösungen, die sich mit globalen Anliegen wie den Zielen der Vereinten Nationen für nachhaltige Entwicklung befassen. Darüber hinaus sollten die Auswirkungen von KI-Systemen nicht nur aus individueller Sicht, sondern auch aus gesellschaftlicher Perspektive betrachtet werden. Der Einsatz von KI-Systemen sollte insbesondere im demokratischen Prozess, wie der öffentlichen Meinungsbildung, politischen Entscheidungsfindung oder Wahlen, sorgfältig geprüft werden. Auch die sozialen Auswirkungen von KI sollten berücksichtigt werden. Während KI- Systeme dazu beitragen können, soziale Kompetenzen zu verbessern, besteht auch die Möglichkeit, dass sie zu einer Verschlechterung beitragen. ---- **Rechenschaftspflicht ** {{:vertrauen:phase1:modul3:mj_ki_leitlinien_verabschieden_rechenschaftspflicht.svg?200x200 |}} Es sollten Mechanismen etabliert werden, um die Verantwortung und Rechenschaftspflicht für KI-Systeme und deren Ergebnisse vor und nach ihrer Implementierung sicherzustellen. Die Nachprüfbarkeit von KI-Systemen spielt hierbei eine entscheidende Rolle, da die Bewertung durch interne und externe Prüfer sowie entsprechende Bewertungsberichte maßgeblich zum Vertrauen in die Technologie beitragen. Insbesondere bei Anwendungen, die sich auf Grundrechte und sicherheitskritische Bereiche auswirken, sollte eine externe Überprüfbarkeit gewährleistet sein. Potenziell negative Auswirkungen von KI-Systemen sollten erkannt, bewertet, dokumentiert und minimiert werden. Folgenabschätzungen können diesen Prozess erleichtern, wobei sie in einem angemessenen Verhältnis zu den Risiken stehen sollten, die von den KI-Systemen ausgehen. Kompromisse zwischen verschiedenen Anforderungen, die oft unvermeidlich sind, sollten rational und methodisch angegangen und berücksichtigt werden. Falls dennoch ungerechte und nachteilige Auswirkungen auftreten, sollten leicht zugängliche Mechanismen für angemessenen Rechtsschutz zur Verfügung stehen. ===== (2) Auf unternehmerischer Ebene finden sich folgende beispielhafte KI-Leitlinien: ===== KI-Leitlinien gelten in Organisationen als potenzieller Ansatz zum Aufbau von Vertrauen und Akzeptanz in neue Technologien wie KI-Systeme. Entsprechend der Häufigkeit ihrer Nennung finden sich beispielhaft hierzu folgende Aspekte: * Transparenz auf Ebene der Prozesse/Ergebnisse/Risiken und Erklärbarkeit * Vielfalt, Nichtdiskriminierung und Fairness * Gewährleistung von Sicherheit/Robustheit und Schutz * Wahrung von Privatsphäre und Datenschutz * Der Mensch im Fokus * Gewährleistung des Vorrangs des menschlichen Handelns/Kontrolle durch den Menschen * Festlegung von Verantwortung und Rechenschaft * Nutzen für die Gesellschaft/gesellschaftliche Verantwortung * Folgenabschätzung * Rechtmäßigkeit * Forschung, Teilen von Wissen über KI und Austausch mit anderen * Verantwortungsvoller Umgang mit KI * Ethik * Menschenrechte und Menschenwürde * Vertrauen * Zuverlässige KI-Systeme * Ökologische Nachhaltigkeit * Austausch und Zusammenarbeit mit Nutzenden * Governance * Transparenz durch proaktive Kommunikation * Nachhaltiger Umgang mit Daten