Überblick
Wie kann ich beurteilen, ob der gewählte KI-Bot der Richtige für meine Fragestellung ist? Und wie kann die Qualität des Outputs beurteilt werden?
Nach einem Überblick über die 29 bekanntesten KI-Bots wird gezeigt, wie unscharfe Anforderungen und Qualitätsziele gemessen werden können. Die Übersicht enthält 29 KI-Systeme – welches davon ist denn nun am besten geeignet für den gesuchten Zweck? Weitere Werkzeuge des QM-Frameworks werden vorgestellt. Die Tools stehen ihnen als Download zur Verfügung.
Im nächsten Beitrag Teil IV zeigen wir, wie das QM-Framework in TaskBrowse implementiert werden kann.
Es wird deutlich, dass das Framework für Projektergebnisse in Form von Dienstleitungen als auch von Produkten (Teilprodukten) sowie auch für gemischte Projektergebnisse geeignet ist. Ebenso geeignet ist diese Herangehensweise für agile, hybride und/oder traditionelle Prozessmodelle.
Prozesse
Vielfach wird das Qualitätsmanagement als Subprozess des Projektmanagements betrachtet. Aus dem folgenden Schaubild geht jedoch hervor, dass das Qualitätsmanagement einen Rahmen für die jeweiligen Projekte darstellt. So wird im Kontext des „Qualitätsbewusstseins“ des Unternehmens der Qualitätsplan für das jeweilige Projekt erarbeitet.
Qualität muss geplant werden
Der Qualitätsplan konkretisiert das Verständnis von Qualität, wie sie im Projekt realisiert werden soll. Das QM „startet“ deutlich vor Projektbeginn und endet nicht mit dem Projektende. So sind viele Qualitäts- und Projektziele erst deutlich nach Projektende (z.B. in der Nutzungsphase) auf ihre tatsächliche Zielerreichung zu überprüfen.
Zusammenspiel der Hilfsmittel
Das Zusammenwirken von QM und PM ist im folgenden Schaubild dargestellt. Bestimmte Projektergebnisse werden durch Qualitätssicherungsmaßnahmen (analytische QS) auf Erreichung untersucht. Dies ist nicht nur an bestimmten Meilensteinen angebracht: die Bedeutung des Zwischenergebnisses für das Gesamtprojekt ist der Maßstab. Bauen Ergebnisse aufeinander auf, so ist es angebracht, die erreichte der definierten Qualität gegenüberzustellen. Die definierte (Ziel-) Qualität wird im „Ergebnisdefinitionsdokument“ EDD konkretisiert und spezifiziert. Dieses Dokument liefert den Maßstab für Qualität. Inwieweit diese Anforderungen erfüllt wurden, wird in der QS-Sitzung (Inspektion, Review, Akzeptanztest, …) überprüft. Das Ergebnis wird im QS-Bericht bzw. im
Q-Prüfprotokoll dokumentiert.
Bild: QM & QS
Dokumente im QM-Prozess
Die Konkretisierung der Projektziele bzgl. ihrer Überprüfung hat oft noch einen anderen Nebeneffekt; dies ist an einem kleinen Beispiel erklärt: So wird vom Auftraggeber eine Rundumverfügbarkeit des neuen Systems von 24 Stunden und 7 Tagen in der Woche gewünscht. Das ist technologisch auch zum heutigen Entwicklungsstand nur unter hohen Kosten zu realisieren. Die frühzeitige Auseinandersetzung mit den entstehenden Kosten wird durch die Qualitätszielplanung schon im Projekt stattfinden – somit kann die Entscheidung des Auftraggebers über die Bedeutung des Zieles rechtzeitig – bereits bei der Erstellung der Qualitätszielplanung erfolgen!
Qualitätsanforderungen an KI-Bots
Wie im Beitrag „KI vs. Natürliche Dummheit – Teil I von IV“ diskutiert, gibt es neben CHATGPT mehrere KI-Systeme. Welches ist jedoch für uns das geeignete? Und für welchen Zweck ist es geeignet? Um dies beurteilen zu können, macht es Sinn, geeignete Kriterien (Anforderungen) zu definieren und auf ihren Erfüllungsgrad hin zu untersuchen.
Quelle: Die besten AI-Chatbots im Jahr 2024 (freie Übersetzung aus der englischen Originalversion)
Finden Sie eine ChatGPT-Alternative für Ihr nächstes KI-Chatbot-Abenteuer.
Von Miguel Rebelo – 1. Dezember 2023
Miguel Rebelo probierte so viele dieser Bots aus, wie er in die Finger bekam. Nach Tausenden von Aufforderungen und vielen unaufgeforderten Ratschlägen hat er hier seine Auswahl der besten KI-Chatbots für das Jahr 2024 zusammengestellt.
29 KI Chat-Bots 2024
Für die automatische Vervollständigung von Code | Model: Proprietary | |
Zum „Spaß haben“: ein KI-Modell bitten, wie Elon Musk zu sprechen, und gemeinsam darüber nachdenken, was als Nächstes auf der Einkaufsliste der „Social-Media-Plattform“ ansteht. | Model: C1.2 | |
Für das Schreiben von Inhalten | Model: OpenAI’s GPT models | |
ChatGPT war der erste weit verbreitete KI-Chatbot | Model: OpenAI GPT-3.5 and 4, DALL·E 2 and 3 | |
Erstellt Job-Beschreibungen, Instagramm posts, … | Model: OpenAI’s GPT models | |
Für das von kreativen und hochwertigen Inhalten verschiedener Genres | Model: OpenAI GPT-4 | |
Für Vertrieb, Marketing und die Erkundung Ihrer HubSpot CRM-Daten | Model: OpenAI GPT-3 | |
Auf dem Handy | Model: OpenAI’s GPT models | |
Das längste Gesprächsgedächtnis | Model: Proprietary | |
Für die automatische Vervollständigung von Code | Model: Proprietary | |
Zum Basteln und um ein Gefühl für ein einzigartiges Modell zu bekommen | Model: Proprietary, based on OpenAI’s GPT-2’s architecture | |
Für die automatische Vervollständigung von Code | Model: OpenAI Codex | |
Integration in Google-Anwendungen | Model: PaLM 2 | |
„ohne Gewähr“ – ohne Absicherung gegen falsche Ergebnisse; Elon Musk´s „Vertreter“ im Internet-KI-Rennen | Model: Grok-1 | |
Open Source | Model: OpenAssistant Llama | |
Für das Schreiben von Inhalten (Contenterstellung); z.B. für die Erstellung von LinkedIn Profilen | Model: OpenAI GPT-3 and GPT-4 | |
Khan Academy hat sich den Ruf erworben, hochwertige Lernressourcen kostenlos anzubieten. Da die KI neue Wege des Lernens eröffnet, arbeitet Khan Labs an Khanmigo, einem KI-gestützten Tutor, der Ihnen hilft, komplexe Themen zu meistern. | Model: Proprietary | |
Für die Suche im Web & Contenterstellung | Model: OpenAI GPT-3.5 Turbo | |
Offene Lizenz | Model: Meta’s Llama 2 | |
Online-Suche, Text- und Bilderzeugung | Model: OpenAI’s GPT and DALL·E models | |
Zum Tüfteln | Model: OpenAI GPT-3 and GPT-4 | |
Für „Internet-Tieftaucher“ – ein leistungsstarkes „Such-Werkzeug“ | Model: OpenAI GPT-3 and GPT-4 | |
Für Nachrichtenübermittlung und Training Ihres KI-Klons | Model: Proprietary GGT-P OpenAI’s GPT models, Claude 2 | |
Für den persönlichen Gebrauch | Model: Inflection-1 | |
Zum testen mehrerer AI-Modelle | Model: OpenAI’s GPT and DALL·E models, StableDiffusionXL, Claude 1 and 2, PaLM, Llama (multiple versions), Solar 70B, Mistral 7B | |
In sozialen Medien | Model: OpenAI’s GPT models | |
Für die automatische Vervollständigung von Codes | Model: Proprietary | |
Zapier AI Chatbot (Beta) | Zur Erstellung eines eigenen ChatBots | Model: OpenAI GPT-3.5 or GPT-4 via your own API key |
Für das Schreiben von Inhalten | Model: Sophos 2, OpenAI’s GPT-4 |
Messbarkeit von Qualitätszielen
Im zitierten Artikel sind folgende Kriterien berücksichtigt worden:
- Genauigkeit
- Reaktionsfähigkeit
- Zugang (einfach/schwierig – kostenlos/mit Kosten verbunden)
- Chaterfahrung
- Zusätzliche Funktionen
Im Beitrag von Miguel Rebelo ist keine Rangfolge angegeben; es ist lediglich von einer Liste der „Besten KI-Systeme“ die Rede. Um eine nachvollziehbare und möglichst objektive Bewertung zu erstellen, müssen die obigen Kriterien durch Merkmale konkretisiert werden.
Wann z.B. ist ein Zugang „einfach“ – wann ist er „schwierig“. Wie wird Reaktionsfähigkeit gemessen?
Das kann anhand des folgenden Schemas erfolgen:
Fachliches Qualitätsziel: einfacher Zugang | |||||
Erkennungsmerkmal | Maßeinheit | Ist-Wert Altsystem | Zielwert | Akzeptables Minimum | Prüf- bzw. Messverfahren |
(Durchschnittliche) Zeit zur Erstellung einer Abfrage | Minuten | … | … | … | Messung der Zeiten durch Endbenutzer |
Anzahl Fehlbedienungen | Anzahl Fehler | … | 1 | 2 Fehler pro Stunde | Messung bei repräsentativer Anwendergruppe |
… |
|
|
|
|
|
Zielerreichung
Häufig ist es nicht gewünscht oder nur unter unverhältnismäßig hohem Aufwand möglich, die Erreichung der Ziele durch das beschriebene Verfahren zu überprüfen. Hier bietet es sich an, den Weg über eine repräsentative Befragung der Stakeholder (z. B. Auftraggeber, spätere Anwendergruppen, …) zu gehen. Die Auswahl dieser Interviewpartner ist hierbei von hoher Bedeutung: soll das Ergebnis belastbar und allgemein akzeptiert werden, so sind auch im Stakeholderportfolio[1] ursprünglich als „kritisch“ eingestufte Stakeholder zu befragen.
Eine mögliche Befragung kann schriftlich oder in einem persönlichen Gespräch erfolgen. Vor der Bewertung sollte jedoch eine gemeinsame Skala (siehe unten) vorgegeben werden.
Um die Vergleichbarkeit zu gewährleisten und auch die subjektive Einschätzung zur Projektzielerreichung besser ausdrücken zu können, wurde die Skala um individuelle Kommentare ergänzt.
Zudem lassen sich die erreichten Veränderungen nicht nur auf die Projektarbeit zurückführen: Es gab eine Vielzahl von Faktoren, welche außerhalb des Einflussbereiches des Projektes liegen.
Beschreibung | Erläuterung | Entspricht ungefähr in % |
Erreicht | ohne Einschränkungen realisiert | 90 % – 100 % |
überwiegend erreicht | es fehlt noch etwas | > 50 % – < 90 % |
teilweise erreicht | es fehlen noch wichtige Komponenten, es sollte nachgearbeitet werden | < 50 % |
nicht erreicht | 0 < 10 % |
Tabelle: „Grad der Zielerreichung“
Projektziel | geplante zu | erreichte | Bemerkung |
|
|
|
|
|
|
|
|
|
|
|
|
Qualitätsplan - "Wieviel Qualität wollen wir?"
QM-Hilfsmittel: Qualitätsplan | |
„Motto“ | Wie gehen wir mit Qualität in unserem Projekt um? |
Beschreibung/ | Ein Qualitätsplan dokumentiert, wie mit Qualität in einem Projekt umgegangen werden soll. Er beschreibt die für die Qualität wesentlichen Aspekte des Projektprozesses und des Projektergebnisses. Dazu gehören insbesondere die Qualitätsziele und Weiter enthält der Qualitätsplan die zur Erarbeitung („konstruktiv“) und zur Prüfung („analytisch“) festgelegten und notwendigen Maßnahmen. Die für Herstellung und Überprüfung von Qualität notwendigen Aktivitäten werden in den Projektplan aufgenommen und entsprechend kenntlich gemacht. |
Warum ist dieses Hilfsmittel wichtig? | ● Der Qualitätsplan stellt für alle Beteiligten dar, wie in dem Projekt die vereinbarte Qualität erreicht werden soll. ● Er bietet allen Projektbeteiligten Orientierung und Absicherung. ● Es werden Verantwortliche und Methoden festgelegt und damit Transparenz geschaffen. ● Ein Qualitätsplan legt den Auftragsrahmen für den Qualitätsbeauftragten fest. ● Ein Qualitätsplan unterstützt den Projektplanungsprozess, da qualitätssichernde Maßnahmen frühzeitig abgestimmt und eingeplant werden. ● Im Qualitätsplan wird die Abnahme von Ergebnissen vorbereitet. ● Ein Qualitätsplan ermöglicht die Auswertung der Zielerreichung im Projekt, z. B. für das Projektbüro, und kann Erfahrungswerte für andere Projekte liefern. ● Projektrisiken können minimiert werden. |
Für wen ist dieses Hilfsmittel wichtig? | ● Auftraggeber ● Lenkungsausschuss ● Projektleitung ● Projektteam ● Projektpriorisierungsgremium und weitere Beteiligte |
Wann im Projekt | ● Bei der Projektplanung, Aufwandsschätzung ● In der Erarbeitung und Überprüfung von Projektergebnissen für den Einzelnen und das Team ● Erreichung von Meilensteinen ● Im gesamten Projektverlauf, insb. auch ● Abnahme von Arbeitsergebnissen ● Auswertung von Projektergebnissen |
Wie gut? | ● So konkret wie möglich ● Übersichtlich ● Abgestimmt mit allen Beteiligten ● Etc. |
Wie anwenden? | So wie die Zielplanung eines Projekts nicht statisch ist, muss auch die Qualitätsplanung immer wieder angepasst werden. Es muss ein ständiger Abgleich zwischen den Planungsinstrumenten erfolgen. Es wird hier ein Prozess beschrieben, wie man die Qualität des gewünschten Ergebnisses sicherstellen möchte. Dazu muss ein gemeinsames Verständnis erarbeitet werden, dass immer wieder zu überprüfen ist. |
Zusammenhang zu anderen „Hilfsmitteln“ | ● Grundlage ist die Zielplanung ● Projektplan/Meilensteinplan ● QS-Maßnahmen (Verweis auf Auflistung) |
Tabelle: „Beschreibung Qualitätsplan“
Gliederungsvorschlag für einen Qualitätsplan
(Beispiel: Projekt zur Erstellung eines individuellen KI-Systems)
- Einleitung
- Zielsetzung des Qualitätsplans
- Ausgangssituation
- Geltungsbereich
- Begriffe und Abkürzungen
- Qualitätsziele/Produktqualität
- Qualitätsziel 1
Erkennungsmerkmal 1 (mit Ist-/Sollwerten und Prüfverfahren)
Erkennungsmerkmal 2 - …
- Qualitätsziel 2
- …
- Qualitätsmanagement
- Übersicht über den QM-Prozess
- Konstruktive QS-Maßnahmen
- Analytische Maßnahmen
- …
- Entwicklungsbegleitende QS-Maßnahmen
- Phase 1: Projektinitialisierung
- Phase 2: Konzeption
- Phase 3: Realisierung
- Phase 4: Test
- Phase 5: Pilotierung
- Phase 6: Optimierung
- Phase 7: Roll-Out
- Spezielle Kontrollmaßnahmen
- Abnahme und Freigabe von Projektergebnissen („Akzeptanzplan“)
- Kundenbezogene Ergebnisse
- Projektinterne Ergebnisse
- Rollen und Verantwortlichkeiten
- Kritische Arbeitsergebnisse
- Mitgeltende Unterlagen
Bsp.: „Auszug aus einem Q-Plan“
QS-Bericht
QM-Hilfsmittel: QS-Bericht | |
„Motto“ | Wie ist der Stand unseres Projektes in Bezug auf Qualität von Ergebnis und Prozess? Wie wollen wir weiter vorgehen? |
Beschreibung/ | Ein QS-Bericht dokumentiert ● den QS-Stand (Gesamtüberblick), ● geplante und durchgeführte QS-Maßnahmen für den Berichtszeitraum, ● geplante QS-Maßnahmen für den bevorstehenden Berichtszeitraum, ● QS-Risiken und Probleme, ● Maßnahmen zur Vermeidung/Behebung der QS-Risiken, ● Handlungs-/Entscheidungsbedarf, ● Sonstiges. |
Warum ist dieses | ● Der QS-Bericht ist das dokumentierte Ergebnis der regelmäßigen Qualitätsprüfung im Projekt. Er liefert wichtige Informationen für die Projektsteuerung. ● Der QS-Bericht fasst den Stand der Qualität von Prozess und Ergebnis im Projekt für einen bestimmten Berichtszeitraum zusammen. Er dient i. W. als Hilfsmittel für die Rückkopplung des „Qualitätsstands“ an Lenkungsausschuss, Auftraggeber und Projektteam. ● Der „Qualitätsstand“ ist das Ergebnis der im Berichtszeitraum durchgeführten QS-Maßnahmen (für Ergebnisse und Prozess). ● Die Bewertung des „Qualitätsstands“ umfasst insbesondere auch Risiken und Probleme sowie Maßnahmen zu deren Behebung. Bewertung: Sind wir auf dem richtigen Weg? Tun wird die „Dinge“ richtig? |
Für wen ist dieses | ● Auftraggeber ● Lenkungsausschuss ● Projektleitung und Projektteam ● Qualitätsbeauftragter ● Weitere Projektbeteiligte |
Wann im Projekt sinnvoll anwendbar? | Regelmäßig im Projektverlauf (insbes. zu Projektstatussitzungen, Lenkungsausschusssitzungen). Der QS-Bericht wird vom Qualitätsbeauftragten in Zusammenarbeit mit der Projektleitung (und dem Projektteam) erarbeitet. Er ist eine wichtige Grundlage zur Einschätzung/Beurteilung von (längerfristigen) Trends und Mustern in Bezug auf die Qualität von Projektergebnis und Prozess. |
Wie gut? | Aussagekräftig und übersichtlich (siehe nachfolgendes Beispiel) |
Wie anwenden? | ● Zur projektinternen und projektexternen Berichterstattung ● Als Rückkopplungsmechanismus, der das Lernen im Projekt unterstützt (Wie entwickelt sich die Qualität im Projektverlauf? Was läuft gut? Wo gibt es Schwierigkeiten bzw. Defizite? Wie entstehen diese?) |
Zusammenhang zu | ● Zielplanung ● Projektplan/Meilensteinplan ● Qualitätsplan ● Projektstatusbericht |
Ergebnisdefinition
QM-Hilfsmittel: Ergebnisdefinition | |
„Motto“ | ● Welche formalen und inhaltlichen Qualitätskriterien soll ein bestimmtes ● Wie gut soll dieses Ergebnis sein? ● Wie wird das Ergebnis abgenommen? Von wem? |
Beschreibung/ | Eine Ergebnisdefinition dokumentiert die geplante formale und inhaltliche Qualität eines bestimmten komplexen Projektergebnisses (Dokument, Konzept etc.). Die dort beschriebenen Qualitätskriterien liefern eine Orientierung für die Erarbeitung des Ergebnisses, für seine Prüfung (z. B. in einem Review) sowie für seine Abnahme (projektintern bzw. extern). |
Warum ist dieses Hilfsmittel wichtig? | ● Stellt den Bezug zwischen Qualitätszielen und Ergebnissen her ● Wichtiges Hilfsmittel zur Qualitätsplanung („Qualität kann nicht in ein Ergebnis hineingeprüft, sondern muss erarbeitet/entwickelt werden.“) ● Erarbeiter und Nutzer stimmen sich frühzeitig darüber ab, welche formale und inhaltliche Qualität das Projektergebnis haben soll. Dies erleichtert insbesondere die Erarbeitung, da eine klare Orientierung vorhanden ist. ● Verhinderung von Abstimmungs-„Fehlern“ zwischen Erarbeitern und Nutzern des Ergebnisses |
Für wen ist dieses Hilfsmittel wichtig? | ● Für alle Teammitglieder, die an der Erarbeitung dieses Ergebnisses beteiligt sind ● Für die Verwender/Nutzer/„Kunden“ dieses Ergebnisses ● Für die Prüfer der Ergebnisse sowie Qualitätsbeauftragten ● Projektleitung |
Wann im Projekt sinnvoll anwendbar? | Während der gesamten Projektdurchführung |
Wie gut? | ● Für Erarbeiter und Nutzer/„Kunden“ relevante Qualitätskriterien ● Erfüllt aus Sicht des QM auch ergebnisübergreifende „Standards“ |
Wie anwenden? | ● Für jedes größere und kritische Projektergebnis; insbes. konzeptionelle Ergebnisse (diese können nicht „maschinell“ getestet oder gemessen werden!) ● Die Sichten/Anforderungen der Erarbeiter und der Nutzer/„Kunden“ des Ergebnisses werden in der Ergebnisdefinition zusammengefasst. Dadurch wird ein gemeinsames Verständnis gefördert. ● Die für das Projektergebnis definierten Qualitätskriterien sind ebenfalls Prüfkriterien für die QS dieses Ergebnisses. |
Zusammenhang zu anderen „Hilfsmitteln“ | ● Qualitätsplan des Projektes ● Projektplan/Meilensteinplan |
Tabelle: „QM-Hilfsmittel Ergebnisdefinition“
Q-Prüfprotokoll
QM-Hilfsmittel: Q-Prüfprotokoll | |
„Motto“ | ● Wie gut ist das vorliegende Ergebnis zu einem bestimmten Zeitpunkt? ● Was muss an dem Ergebnis noch geändert/verbessert werden? ● Wie kommt es zu vorhandenen Fehlern und Mängeln? ● Wie kann dieses Ergebnis im Projekt weiterverwendet werden? |
Beschreibung/ | Ein Q-Prüfprotokoll dokumentiert den Qualitätsstand eines bestimmten Projektergebnisses (z. B. ein Fachkonzept etc.) in Bezug auf die geplanten Qualitätsmerkmale (und darüber hinaus gehende Kriterien) zu einem bestimmten Zeitpunkt aus Sicht einer Gruppe von Prüfern. Die Kriterien für die Prüfung sind idealerweise in der Ergebnisdefinition schon festgelegt (bei „größeren“ bzw. kritischen Ergebnissen). Die Prüfer prüfen das Ergebnis vorab einzeln und in einer gemeinsamen Prüfung (z. B. in Form eines Review). Die Ergebnisse der gemeinsamen Prüfung und die Entscheidung über die weitere Verwendung (z. B. Freigabe, Überarbeitung) des „Prüfgegenstands“ werden im Q-Prüfprotokoll dokumentiert. Die Prüfer prüfen das Ergebnis aus unterschiedlichen Perspektiven. |
Warum ist dieses Hilfsmittel wichtig? | ● Die Verbindung zwischen geplanten Qualitätsmerkmalen und tatsächlich erreichtem Stand wird festgestellt. ● Möglichst früh Fehler finden (bzw. dies auch dokumentieren) |
Für wen ist dieses Hilfsmittel wichtig? | ● Für die Erarbeiter des Ergebnisses ● Für alle Beteiligten, die dieses Ergebnis verwenden ● Qualitätsbeauftragter ● Projektleitung |
Wann im Projekt sinnvoll anwendbar? | ● Zu den geplanten QS-Terminen ● Bei Bedarf; insbes. für die Analyse von Fehlerursachen im Arbeitsprozess im Projekt |
Wie gut? | ● Insbes. für den Verantwortlichen des Ergebnisses nachvollziehbar dokumentiert ● Mit Entscheidung über weitere Verwendung des Ergebnisses |
Wie anwenden? | ● Zur Dokumentation einer Q-Prüfung z. B. in Form eines Review ● Das Q-Prüfprotokoll wird idealerweise dazu genutzt, auch die „Überarbeitungshistorie“ des Ergebnisses zu dokumentieren. |
Zusammenhang zu anderen „Hilfsmitteln“ | ● Qualitätsplan des Projektes ● Projektplan/Meilensteinplan ● Ergebnisdefinition für das geprüfte Projektergebnis |
Ausblick
Im letzten Beitrag dieser Reihe zeigen wir ihnen die Implementierung in TaskBrowse.
