Ein QM-Framework – am Beispiel von KI-Systemen – Teil 2

Überblick

In diesem Beitrag stellen wir ihnen ein Qualitätsmanagement-Framework vor. Am Beispiel von KI-Systemen zeigen wir, wie in Projekten mit unklaren Anforderungen umgegangen werden kann.
Eine der zentralen Aufgaben in einem Projekt ist das Finden und die Formulierung messbarer Projektziele. Ohne messbare bzw. überprüfbare Projektziele ist kein QM möglich.

Erfolg oder Misserfolg des Projektes bleiben im Ungewissen.
Der nächste Schritt ist die Erstellung eines Qualitätsplans – sprich – die Konkretisierbarkeit der Ziele durch messbare Anforderungen. Dies wird möglich, wenn die Anforderungen durch Merkmale „beschrieben“ werden. Nehmen wir z.B. die Anforderung an ein KI-System: „die ethischen Leitlinien sollen eingehalten werden“: Woran ist erkennbar, dass die moralischen Werte und Prinzipien nicht verletzt werden. Wie ist diese Einhaltung zu erkennen und nachzuweisen?

In diesem Kontext ist eine gemeinsame Werthaltung der Beteiligten eine Voraussetzung.

Qualität ist das Ergebnis eines gezielten Prozesses!

Messbare Ziele als Voraussetzung des Projekterfolgs

„Baue mir ein Haus – groß, schön und stabil“.

Diese „Präzision“ haben viele Projektaufträge. Sollen die Projekte trotzdem erfolgreich beendet werden, ist ein konsequentes und zielgerichtetes QM unbedingt erforderlich.

Ein gemeinsames Verständnis von Qualität und der Qualitätsziele müssen gestaltet und konkretisiert werden. Dabei fallen die Qualitätsziele nicht vom Himmel, sondern müssen in der multilateralen Kommunikation zwischen dem Projektteam und den Stakeholdern des Projektes erarbeitet werden.

Dies ist ein hochkommunikativer Prozess, welcher nicht nur methodisches know how erfordert. Es sind besonders kommunikative Fähigkeiten gefordert: von Gesprächsführung und Kommunikation, über Moderations- und Prozesskompetenz, um nur einige zu nennen.
Dieses Vorgehen kann beispielsweise in einem agilen oder auch traditionellem Prozess realisiert werden.

Welche Rolle spielt dabei jedoch ein PM-Werkzeug? Gesucht ist ein Tool, welches von der Spezifikation der Vision bzw. des gemeinsamen Verständnisses von Qualität über die Definition der Qualitätsziele bis hin zum Erfolgsnachweis (im Projektcontrolling) nach Projektabschluss den gesamten Entwicklungsprozess unterstützt und die sukzessive Entwicklung der Anforderungen (Qualitätsziele) abbildet. Zur Formulierung und Überprüfung der Ziele ist eine Werkzeugunterstützung hilfreich.

TaskBrowse (https://taskbrowse.com/de/) unterstützt bei der Erarbeitung und Visualisierung der Ziele sowie der Formulierung und Überwachung der Merkmale. Wie das aussehen kann demonstrieren wir im Folgenden am Beispiel von TaskBrowse. Dazu haben wir ihnen ein Beispiel bereit gestellt unter:

Beispiel in Taskbrowse

Folgen sie dem Link und sie gelangen zu einer voll funktionsfähigen Installation von TaskBrowse (steht ihnen 21 Tage kostenfrei zur Verfügung! Endet automatisch). Da es sich um eine 100%-ige cloudbasierte Software handelt, ist keine Installation auf ihrem PC erforderlich. Sie benötigen lediglich einen funktionsfähigen Browser.Sie finden dort das skizzierte KI-Beispiel aus diesem Artikel.

Aus den Anforderungen an KI-Systeme haben wir Ziele abgeleitet und weiter konkretisiert. Anschließend werden aus den Zielen Anforderungen an KI-Systeme abgeleitet und in Form von Aktivitäten weiter konkretisiert. Die Ergebnisse der Aktivitäten sind in einem Projekt Gegenstand des QM; sie werden in QS-Maßnahmen überprüft – die Ergebnisse in QS-Berichten dokumentiert.

Dieses Beispiel basiert auf dem Artikel „KI vs. Natürliche Dummheit“. TaskBrowse begleitet den Entwicklungsprozess von der Formulierung messbarer Projektziele bis zum Nutzen-Controlling nach Projektende.

QM und QS im Projekt

QM im Projekt umfasst die Gestaltung und Steuerung des gesamten Projektprozesses in Bezug auf die Qualität von Ergebnis und Prozess. Hier sind sowohl subjektive (Werthaltung, Kultur etc.) als auch objektive Dimensionen (fachliche Kompetenz, organisatorische Verfahren, Prozesse, Messungen etc.) zu berücksichtigen.

Qualitätssicherung (QS) ist ein Teil des QM und umfasst alle Maßnahmen der „Validierung“ (Wird das Richtige gemacht?) und „Verifizierung“ (Wird das Produkt richtig gemacht?) von Arbeitsergebnissen aus dem Projekt.

Es ist üblich, zwischen „konstruktiven“ (Wie werden Ergebnisse erarbeitet?) und „analytischen“ (Wie werden Ergebnisse geprüft/bewertet?) QS-Maßnahmen zu unterscheiden.

Durch „konstruktive“ QS-Maßnahmen werden qualitativ gute Ergebnisse erarbeitet. Ein Beispiel ist die Verwendung und Anpassung bewährter „Musterlösungen“ für bestimmte technische Aufgabenstellungen.

Die durch „analytische“ QS-Maßnahmen zu beurteilenden Arbeitsergebnisse sind dabei nicht auf reine „Produktbestandteile“ eingeschränkt. Ebenso gut können andere im Projekt erarbeitete Ergebnisse, wie z. B. Projektmanagementergebnisse (z. B. Projektantrag, Projektplan, Meilensteinplan etc.), beurteilt, geprüft und bewertet werden. Beispiele für „analytische“ QS-Maßnahmen sind z. B. Reviews oder Tests.

„Analytische“ QS-Maßnahmen sind ein wichtiges Hilfsmittel, um den Stand der Qualität der Projektergebnisse zu beurteilen. Ein Projektergebnis wird auf die Erreichung der geplanten Qualität hin geprüft. Das Projektergebnis muss die geplanten Qualitätskriterien erfüllen, damit es abgenommen werden kann. Die Prüfungsergebnisse liefern insgesamt wichtige Informationen für die Projektsteuerung.

„Analytische“ QS-Maßnahmen sind ein wichtiger Bestandteil der Qualitätsplanung im Projekt und werden insbesondere vor allen wichtigen Meilensteinen im Projekt durchgeführt.

„Konstruktive“ und „analytische“ QS-Maßnahmen ergänzen einander. Im Projektverlauf haben die „konstruktiven“ Maßnahmen eine höhere Bedeutung. Durch sie wird die geforderte Ergebnisqualität erarbeitet bzw. entwickelt. Durch die „analytischen“ Maßnahmen bekommt das Projektteam Rückkopplungen auf die Qualität der Ergebnisse und auf die Erreichung der Ziele.

Die für diesen Prozess erforderlichen Werkzeuge und Methoden sind im Abschnitt „Methoden & Tools“ beschrieben.

Den Zusammenhang zwischen Projektmanagement, QM und QS verdeutlicht obige Abbildung.

Die Gestaltung von QM beschränkt sich somit nicht nur auf das „eigentliche Projekt“ (mit Projektinitialisierung, -durchführung, Übergabe Ergebnisse und Projektabschluss), sondern orientiert sich am gesamten „Lebenszyklus“ wie in obiger Abbildung dargestellt.

Die folgende Grafik gibt einen groben Überblick über die Aktivitäten des Qualitätsmanagements und Orientierung im Projekt.

Entwicklung von Qualität als Voraussetzung für Projekterfolg

Voraussetzung gemeinsames Verständnis von Qualität

Ein gemeinsames Verständnis der im Projekt zu erreichenden Qualität (Qualitätsziele) liefert Auftraggeber, Nutzern, Kunden und Projektteam die Orientierung für die Erarbeitung (und spätere Abnahme) der Projektergebnisse. Idealerweise wissen Auftraggeber und Nutzer, welche Qualität des Projektergebnisses sie erwarten, und das Projektteam weiß, welche Qualität erarbeitet werden soll. Dieses gemeinsame Verständnis ist wichtig für die Erarbeitung bzw. Entwicklung guter Lösungen.

Das gemeinsame Verständnis entsteht nicht „von selbst“, sondern entwickelt sich nur dann, wenn dafür im Projekt die notwendigen Rahmenbedingungen geschaffen werden. Dies geschieht z. B. durch

Erarbeitung
von Zielen gemeinsam durch Auftraggeber, Projektleitung und Projektteam in den
frühen Phasen des Projektes (Vorhaben, Projektinitialisierung),
Einbeziehung
aller betroffenen Bereiche bzw. Personen, um damit die sichere Unterstützung
eines breiten Umfelds zu gewinnen,
kontinuierliche Rückkopplung auf Prozess und Ergebnis im Projektverlauf,
frühzeitige und angemessene Beteiligung von Auftraggeber, Lenkungsausschuss, Nutzern der Projektergebnisse und weiteren Anspruchsgruppen

Verhinderung von Fehlern

Erfahrungsgemäß liegen die Ursachen für fehlerhafte Projektergebnisse in den frühen Projektabschnitten (Insbesondere für IT-Projekte gibt es dafür eine Fülle von Erfahrungsberichten und Studien). Die hier gemachten Fehler sind im späteren Projektverlauf nicht mehr oder oft nur mit erheblichem Aufwand (und damit verbundenen Kosten) zu korrigieren.

Die Ursachen für spätere Fehler liegen dabei zu großen Teilen in „unpräzisen Zielvorstellungen“, „Missverständnissen“, „Fehldeutungen von Anforderungen“, „mangelndem Situationsverständnis“ oder „ungenügender Berücksichtigung von Folgewirkungen des Projekts“.

Die aktive Erarbeitung eines gemeinsamen Verständnisses (z. B. zu den Projektzielen) verringert diese Risiken erheblich.

Voraussetzung (Wert-)Haltung

Der Umgang mit unterschiedlichen Sichtweisen und die Entwicklung eines gemeinsamen Verständnisses erfordert eine (Wert-)Haltung der Beteiligten, die sich durch folgende Aspekte stichpunktartig beschreiben lässt:

Respekt
Toleranz
Offenheit
Vertrauen
Lernbereitschaft
Bereitschaft, die eigenen Annahmen transparent zu machen und in Frage zu stellen

Diese (gelebten) Werte sind die Voraussetzung dafür, dass die Projektbeteiligten ihre unterschiedlichen Sichten deutlich machen. Erst auf dieser Grundlage können ein gemeinsames Verständnis und wirkliche Beteiligung entwickelt werden, die die Erarbeitung tragfähiger Lösungen überhaupt ermöglichen.

Interne und externe QS

Insbesondere bei „großen“ IT-Projekten ist es sinnvoll, sowohl interne als auch externe QS einzuplanen.[„Große Projekte“ ist eine gebräuchliche, aber sehr ungenaue Beschreibung. Sinnvoller ist die Eigenschaft „Komplexität“: aufgabenbezogene, strukturelle und zeitbezogene Komplexität.]

Die interne QS wird von einem Mitarbeiter (QS-Beauftragter im Projekt) und dem Projektteam wahrgenommen. Der Qualitätsbeauftragte ist verantwortlich für die Planung und Durchführung projektinterner QS-Maßnahmen.

Die externe QS wird von unabhängigen externen Partnern der Organisation wahrgenommen. Ihre Aufgabe ist es, dem Lenkungsausschuss und der Leitung eine möglichst unabhängige Sicht auf den Stand des Projekts zu liefern.

Dabei überprüft die externe QS das Projekt und sein Umfeld in Bezug auf folgende Aspekte:

Projektmanagement sowie Arbeits-/Entwicklungsprozess (bei IT-Projekten)
Qualität der Lösung
Unterstützung durch das Projektumfeld (Hierzu gehören auch vorbereitende Maßnahmen für die spätere erfolgreiche Nutzung des Projektergebnisses)

Die externe QS wird vor kritischen Meilensteinen im Projekt durchgeführt. Die Ergebnisse der Prüfung (inkl. Bewertung, Risiken und Empfehlungen) werden in einem QS-Bericht (In kleinen Projekten kann dieser auch Bestandteil des Projektstatusberichts sein.) zusammengefasst, mit der Projektleitung abgestimmt und dem Lenkungsausschuss vorgelegt. Dort werden die Konsequenzen diskutiert und das weitere Vorgehen gemeinsam mit der Projektleitung abgestimmt.

Worauf es wirklich ankommt

„Handle stets so, dass die Anzahl der Möglichkeiten größer wird.“
(Heinz von Foerster, Wissen und Gewissen – Versuch einer Brücke)

QM unterstützt einen kontinuierlichen Lern- und Gestaltungsprozess. Da ein geplantes Projekt immer ein neuartiges Vorhaben ist, das in dieser Form bislang noch nicht durchgeführt wurde, ist mit der Erarbeitung des Projektergebnisses insbesondere für das Projektteam immer ein intensiver Lernprozess verbunden.

Projekt- und Qualitätsmanagement sind so gestaltet, dass sie den Lernprozess unterstützen. Dies gilt z. B. für eine Projektplanung, die in überschaubaren Zeiträumen kleine nutzbare Ergebnisse bzw. Verbesserungen erzielt. Das Projektteam erhält in kurzen Abständen ein „Feedback“ darüber, was funktioniert und was nicht funktioniert. Dasselbe gilt für die Qualität der Ergebnisse. Durch diese Lernerfahrungen ist frühzeitig klar, ob das Projekt „auf dem richtigen Kurs“ ist. Notwendige Anpassungen können rechtzeitig vorgenommen werden.

Im Projekt sind zwei Arten des Lernens (Diese Bezeichnungen gehen auf den amerikanischen Organisationsforscher Chris Argyris zurück). wichtig:

1. „Single-loop-Lernen“: Tun wir es (das Richtige) richtig?
Diese Art des Lernens dient der Verbesserung der Projektergebnisse durch Planung, Entwicklung, Prüfung, Bewertung, Anpassung und Fehlerkorrektur; (entspricht der Vorgehensweise im Total Quality Management TQM)

2. „Double-loop-Lernen“: Tun wir das Richtige?
Diese Art des Lernens dient dazu, die Lernprozesse durch Hinterfragen der eigenen Annahmen und Denkmuster zu verbessern.

Beispiel: Verfolgen wir die richtigen Ziele? Durch welche Annahmen und Werthaltungen (etc.) entstehen Fehler, und wie können wir sie verhindern?

In der Gestaltung des QM im Projekt wird das „Single-loop-Lernen“ z. B. durch Qualitätsprüfungen und Tests, ermöglicht (Rückkopplung bezogen auf Stand der Ergebnisqualität). Darüber hinaus bieten wirkungsvoll gestaltete Projektstatussitzungen die Möglichkeit, in regelmäßigen Abständen den Prozess und die Ergebnisse zu bewerten.

Das „Double-loop-Lernen“ ist Voraussetzung dafür, dass im Projekt trotz Unsicherheit und Veränderungen gemeinsam ein zufrieden stellendes Ergebnis erarbeitet werden kann. Dazu ist es wichtig, kontinuierlich die bereits gemachten Ergebnisse und Erfahrungen zu reflektieren und daraus Schritte abzuleiten, die zum Erfolg des Projektes führen.

In diesem Zusammenhang ist es insbesondere in mittleren oder großen Projekten sinnvoll, mit dem Projektteam von Zeit zu Zeit einen moderierten sog. Projektreflexions-Workshop durchzuführen, in dem der bisherige Projektverlauf in Bezug auf Vorgehen, Zusammenarbeit und Lernerfahrungen reflektiert wird. In einem Zeitrahmen von einem bis zwei Tagen erarbeitet das Team darauf aufbauend eine Perspektive für die Zusammenarbeit und das weitere Vorgehen im Projekt. Diese gemeinsame Arbeit hilft dem Team, sich neu auszurichten. Sie ist im Rahmen der regelmäßigen Projektstatussitzungen und des „Tagesgeschäfts“ in dieser Form nicht zu leisten.

Einen ähnlichen Zweck erfüllt der sog. Projektabschluss-Workshop, in dem das Team das gesamte Projekt noch einmal reflektiert und auswertet. Dieser Workshop sollte zum Ende eines jeden Projektes durchgeführt werden, um die darin gemachten Lernerfahrungen konzentriert zusammen zu fassen, zu sichern und sie weiteren Projekten zur Verfügung zu stellen. Die Dauer ist abhängig von der Projektgröße und der Größe des Teams. Für diesen Workshop sollte ca. ein halber bis ein Tag eingeplant werden.

Insbesondere Projektreflexions- und Projektabschluss-Workshops bieten für eine Organisation die Möglichkeit, aus durchgeführten Projekten zu lernen und in immer stärkerem Maße geeignete Rahmenbedingungen für Projektarbeit zu schaffen.

Ausblick

Im dritten Teil dieses Beitrages werden die Methoden und Tools des QM-Frameworks beschrieben und anhand von Beispielen konkretisiert.

Im vierten und letzten Teil wird näher auf die Realisierung in TaskBrowse eingegangen.

[1] Total Quality Management (TQM) ist „eine auf der Mitwirkung aller ihrer Mitglieder beruhende Führungsmethode einer Organisation, die Qualität in den Mittelpunkt stellt und durch Zufriedenheit der Kunden auf langfristigen Geschäftserfolg sowie auf Nutzen für die Mitglieder der Organisation und für ihre Gesellschaft zielt. ,Total‘ bedeutet hierbei die Einbeziehung aller an der Dienstleistung beteiligten Mitarbeiter und Kunden. ,Quality‘ bezieht sich auf die konsequente Orientierung des Dienstleistungsprozesses an den Qualitätsanforderungen sämtlicher interner und externer Kunden und ,Management‘ heißt die Übernahme einer Vorbildfunktion für die Dienstleistungsqualität.“
(Meffert, Heribert / Bruhn, Manfred: Dienstleistungsmarketing – Grundlagen – Konzepte – Methoden, Wiesbaden 1995)