Bundesdruckerei veröffentlicht MÖVE – Bewertungsrahmen für über 50 Sprachmodelle nach Leistung, Sicherheit und Werten
Die Bundesdruckerei stellt MÖVE vor: Ein ganzheitlicher KI-Modellvergleich für Behörden, entwickelt mit BSI und Fraunhofer AISEC.
Die Bundesdruckerei GmbH hat das Forschungs- und Innovationsprojekt MÖVE ("Modelle für die öffentliche Verwaltung evaluieren") veröffentlicht. Das Projekt, das seit Januar 2025 läuft, umfasst nach Angaben der Bundesdruckerei Bewertungen von mehr als 50 Sprachmodellen (Large Language Models, LLMs) und richtet sich an Behörden und öffentliche Einrichtungen.
Die Aussendung beschreibt MÖVE als ersten ganzheitlichen KI-Modellvergleich, der speziell auf die Anforderungen der öffentlichen Verwaltung zugeschnitten ist. Die Bewertungsmethodik ist als Open-Source-Repository verfügbar; die Bundesdruckerei kündigt zudem an, die Vorgehensweise in einem Forschungspaper detailliert zu erörtern.
Nach Angaben der Bundesdruckerei verbindet MÖVE erstmals technische Leistungsmessung und Governance-Anforderungen in einem einheitlichen Framework. Das Projekt ist dem KI-Kompetenzcenter der Bundesdruckerei zugeordnet und soll Behörden eine systematische Grundlage zur Bewertung von Sprachmodellen im deutschen Rechts- und Sprachkontext liefern.
Die Bundesdruckerei betont in der Aussendung, dass viele gängige Modellvergleiche vor allem englisches Textverständnis, mathematische Fähigkeiten oder allgemeines Weltwissen messen. MÖVE berücksichtigt demgegenüber administrative Anforderungen, etwa Zugang zu nachvollziehbaren Modellinformationen sowie Sicherheits- und Nachhaltigkeitsaspekte, die für den Einsatz in Behörden relevant sein können. In der Mitteilung heißt es wörtlich: "Internationale Rankings allein reichen für die Modellauswahl nicht. Ob Open Source oder proprietär - entscheidend ist, wie ein Modell im konkreten Einsatzfall reagiert: im deutschen Rechts- und Sprachkontext, verlässlich, sicher und wertekonform. MÖVE macht genau das messbar", so Frederik Blachetta, Chief Technology, Data & Innovation Officer (CTO) und Geschäftsführer der Bundesdruckerei-Gruppe.
Als Grundlage von MÖVE dienen laut Mitteilung neun eigens entwickelte, deutschsprachige Testdatensätze, die aus realen Verwaltungskontexten stammen. Zu diesen Datensätzen zählen juristische Texte, Verwaltungsdokumente und Publikationen von Bundesministerien. Auf Basis dieser Datensätze wurden nach Angaben der Bundesdruckerei zunächst sieben Bewertungskriterien definiert, die technische Leistungsaspekte und governance-relevante Faktoren verbinden.
Die Mitteilung nennt als Beispiele für die technischen Leistungsaspekte die Fähigkeit zum Zusammenfassen von Texten, die Beantwortung von Fragen und die Analyse von Themen in verschiedenen Dokumenten. Zusätzlich fließen governance-orientierte Aspekte ein, darunter die Vereinbarkeit mit Zielen und Werten der Europäischen Union sowie Nachhaltigkeitsaspekte und Transparenzanforderungen.
MÖVE analysiert laut Bundesdruckerei unter anderem die Anzahl von Halluzinationen in KI-generierten Texten, die Übereinstimmung der Antworten mit demokratischen Grundwerten, die Ressourceneffizienz der Arbeitsweise und die Informations-Transparenz, die GPAI-Modellanbieter gemäß der KI-Verordnung gewährleisten müssen. Jedes Modell durchläuft eine automatisierte Bewertung auf Basis dieser Kriterien; die Ergebnisse werden in einen interaktiven Vergleich eingespeist. Die Mitteilung verweist außerdem darauf, dass weitere Kriterien insbesondere im Bereich Cybersicherheit bereits in der Entwicklung sind.
Die Bundesdruckerei arbeitet laut Aussendung mit dem Bundesamt für Sicherheit in der Informationstechnik (BSI) zusammen. Gemeinsam werden Verfahren zur Beurteilung in den Bereichen Cybersicherheit, Robustheit und Faktentreue von Sprachmodellen weiterentwickelt. In der Mitteilung wird zudem Luise Kranich, Abteilungsleiterin Technologiestrategie und Informationstechnik beim BSI, mit der Aussage zitiert, dass Sicherheit, die sich nicht messen lasse, ein Bauchgefühl bleibe, weshalb entsprechende Benchmarks entwickelt würden.
Das Fraunhofer-Institut für Angewandte und Integrierte Sicherheit (AISEC) bringt nach Angaben der Bundesdruckerei wissenschaftlich-methodische Expertise in die kontinuierliche Weiterentwicklung der Sicherheitskriterien ein. Die Aussendung weist darauf hin, dass LLMs sowohl zur Unterstützung von Cybersicherheitsmaßnahmen eingesetzt werden können als auch Risiken bergen, etwa die potenzielle Nutzung für Cyberangriffe. Vor diesem Hintergrund betonen die Partner die Bedeutung einer frühzeitigen Einordnung von Entwicklungen, um theoretische Szenarien zu überwachen.
Die automatisierten Bewertungen fließen laut Bundesdruckerei in einen interaktiven Online-Vergleich ein, in dem sich einzelne Kriterien gezielt ein- oder ausblenden lassen. Die Plattform soll Behörden demnach ermöglichen, die Bewertungsergebnisse an eigene Anforderungen anzupassen, indem relevante Kriterien sichtbar gemacht oder ausgeblendet werden. Weiterhin nennt die Mitteilung, dass ergänzende Bewertungskriterien im Bereich der Cybersicherheit in Arbeit sind.
Die Bewertungsmethodik ist als Open-Source-Repository frei verfügbar. Die Bundesdruckerei kündigt an, die methodische Vorgehensweise in einem Forschungspaper detailliert zu erörtern, und verweist auf die Projektseite für weiterführende Informationen.
Large Language Models (LLMs): Im OTS-Text werden LLMs als die Sprachmodelle bezeichnet, von denen MÖVE mehr als 50 bewertet. LLMs sind KI-Modelle, die natürliche Sprache verarbeiten und generieren und in vielfältigen Anwendungsfällen eingesetzt werden können. MÖVE bezieht sich ausdrücklich auf Modelle im deutschen Sprach- und Rechtskontext.
Halluzinationen: Im Kontext der Mitteilung versteht MÖVE unter Halluzinationen die Erzeugung falscher oder nicht belegbarer Inhalte durch KI-generierte Texte. Das Projekt analysiert die Häufigkeit solcher Halluzinationen als einen Bestandteil der Bewertung, um die Faktentreue von Modellausgaben quantitativ zu erfassen.
Benchmarking: Benchmarking bezeichnet hier das kontinuierliche Messen und Vergleichen von KI-Modellen anhand definierter Kriterien. Die Bundesdruckerei hebt hervor, dass ein kontinuierliches Benchmarking essenziell sei, um Entwicklungen in Bezug auf Sicherheit, Robustheit und Faktentreue einzuordnen.
Robustheit: Robustheit wird in der Aussendung im Zusammenhang mit Cybersicherheit genannt und bezieht sich auf die Widerstandsfähigkeit von Sprachmodellen gegen Angriffe oder Störungen. Nach Angaben der Bundesdruckerei und des BSI werden Verfahren zur Beurteilung der Robustheit gemeinsam weiterentwickelt.
GPAI und Transparenzanforderungen: Die Mitteilung verweist auf Informations-Transparenz, die GPAI-Modellanbieter gemäß der KI-Verordnung gewährleisten müssen. Damit ist nach der Aussendung die Erwartung gemeint, dass Anbieter bestimmte Modellinformationen offenlegen, wie es die KI-Regulierung vorsieht, und dass MÖVE diese Aspekte in die Bewertung einbezieht.
Laut Mitteilung können Behörden und öffentliche Einrichtungen künftig einsehen, wie die bewerteten Sprachmodelle in den Bereichen Leistungsfähigkeit, Sicherheit, Nachhaltigkeit, Transparenz und Vereinbarkeit mit demokratischen Werten abschneiden. Die Bewertungsergebnisse stehen demnach in einem interaktiven Online-Vergleich zur Verfügung, in dem sich einzelne Kriterien ausblenden oder hervorheben lassen, um die Ergebnisse an spezifische Anforderungen anzupassen.
Die offene Methodik soll Behörden zusätzlich ermöglichen, die Bewertungsgrundlagen nachzuvollziehen und die Ergebnisse in eigene Prüfprozesse einzubeziehen. Die Mitteilung weist außerdem darauf hin, dass die Sicherheitskriterien fortlaufend weiterentwickelt werden und dass ergänzende Kriterien für Cybersicherheit in Arbeit sind.
MÖVE ist nach Angaben der Bundesdruckerei der Bewertungsrahmen „Modelle für die öffentliche Verwaltung evaluieren“. Es handelt sich um ein seit Januar 2025 laufendes Forschungs- und Innovationsprojekt des KI-Kompetenzcenters der Bundesdruckerei, das Bewertungen von Sprachmodellen für die öffentliche Verwaltung bereitstellt.
Die Bundesdruckerei nennt in der Aussendung, dass mehr als 50 Sprachmodelle (LLMs) bewertet werden. Die Mitteilung führt keine konkreten Modellnamen oder Anbieter auf; welche Modelle im Detail eingeschlossen sind, wird in der Aussendung nicht genannt.
Im Rahmen von MÖVE wurden laut Mitteilung zunächst sieben Bewertungskriterien definiert. Diese umfassen technische Leistungsaspekte wie Zusammenfassen, Fragebeantwortung und Themenanalyse sowie governance-relevante Kriterien wie Transparenz, Nachhaltigkeit und Vereinbarkeit mit demokratischen Werten.
Die Bundesdruckerei arbeitet nach eigenen Angaben mit dem Bundesamt für Sicherheit in der Informationstechnik (BSI) zusammen. Ergänzend bringt das Fraunhofer-Institut AISEC wissenschaftlich-methodische Expertise in die Weiterentwicklung der Sicherheitskriterien ein. Die Zusammenarbeit zielt laut Mitteilung auf die Entwicklung von Verfahren zur Beurteilung von Cybersicherheit, Robustheit und Faktentreue ab.
Ja. Die Bewertungsmethodik hinter MÖVE ist als Open-Source-Repository frei verfügbar, sodass die Vorgehensweise von Dritten nachvollzogen werden kann. Die Bundesdruckerei kündigt zudem an, die methodischen Details in einem Forschungspaper zu erläutern.
Die Mitteilung beschreibt, dass LLMs sowohl Maßnahmen zur Cybersicherheit unterstützen als auch Risiken bergen können, etwa potenziell als Mittel für Cyberangriffe genutzt zu werden. Die Bundesdruckerei und das BSI entwickeln gemeinsame Verfahren zur Beurteilung von Cybersicherheit, Robustheit und Faktentreue; weitere Kriterien in diesem Bereich befinden sich laut Aussendung in Entwicklung.
Quelle: Bundesdruckerei Gruppe GmbH. Weitere Informationen zur MÖVE-Initiative finden sich auf der Projektseite: https://moeve.bundesdruckerei.de/
Kontakt: Marc Thylmann, Pressesprecher Bundesdruckerei GmbH. Telefon: +49 (0) 30 - 2598 2810. E-Mail: marc.thylmann [at] bdr.de