UI-Workshop im KI-Projekt „Intelligente Wissensdatenbank - Integration von Aleph Alpha in die Redaktionelle Arbeit“

Im Fokus des Projekts „Intelligente Wissensdatenbank - Unterstützung bei der Integration von Aleph Alpha" steht die Nutzung der großen Sprachmodelle von Aleph Alpha, um die tägliche Arbeit rund um die Pflege von Textdokumenten und redaktionellen Prozessen intelligenter und effizienter zu gestalten. adesso übernimmt dabei pro bono die Umsetzung der Arbeitsprozesse für die Datenanalyse und das Clustering in der Datenbank. Dies erfolgt in einem agilen Projektvorgehen, wobei utopia nach der Realisierung die Infrastrukturkosten trägt. Ein zentrales Ziel des Projektes ist der bewusste Umgang mit Ressourcen, insbesondere im Hinblick auf die Rechenkapazitäten, die große Sprachmodelle erfordern.

In meinem Blog-Beitrag möchte ich euch den Workshop im Rahmen des KI-Projektes sowie seine zentralen Elemente näher vorstellen.

Der Workshop mit utopia zum EPIC 2

In EPIC 2 liegt der Schwerpunkt auf der Integration von Aleph Alpha Luminous, um die Suche nach relevanten Inhalten zu optimieren. Im Workshop wurden gemeinsam drei zentrale User Stories identifiziert:

1. User Story 201: Vorschläge für Wissensunterlagen

In dieser User Story soll das System den Suchenden themenverwandte Dokumente vorschlagen, um diese direkt in ihren Artikeln zu verlinken. Die maximale Anzahl der Vorschläge ist vorgegeben und das Ausgabeformat ist tabellarisch. Der Pipeline-Rhythmus, ob ereignisgesteuert oder als Batch-Prozess, ist festgelegt. Die Akzeptanzkriterien umfassen die erfolgreiche Präsentation der Vorschläge für den jeweiligen Artikel.

2. User Story 202: Bewertung der Vorschläge

Ziel ist es, den Recherchierenden die Möglichkeit zu geben, die angebotenen Dokumente zu bewerten. Die Feedback-Informationen werden definiert und in einer eigenen Datenbank gespeichert. Die Akzeptanzkriterien beinhalten eine einfache Feedbackfunktion. Es ist wichtig zu beachten, dass die Feedbackfunktion darauf abzielt, Rückschlüsse auf Verbesserungen des Prompts oder des Embeddings zu ziehen, ohne jedoch automatisierte Verbesserungen der Suche vorzunehmen.

3. User Story 203: Benachrichtigungen bei neuen Dokumenten

Für die Erstellerinnen und Ersteller wird eine Funktion implementiert, die sie darauf hinweist, wenn neue Dokumente in die Datenbank aufgenommen wurden und für bestehende Ergebnistypen relevant sein könnten. Voraussetzung dafür ist, dass das Dokument in der Datenbank vorhanden ist, der Pipeline-Rhythmus definiert ist (ereignisgesteuert oder als Batch-Prozess) und ein definierter Benachrichtigungsprozess sowie ein Benachrichtigungsformat in Form einer Tabelle mit neuen Vorschlägen vorhanden sind. Die Akzeptanzkriterien setzen darauf, dass die Erstellerin oder der Ersteller auf neue passende Studien hingewiesen wird.

Der Workshop in fünf Schritten

Ein wichtiger Meilenstein im Projektverlauf war der vierstündige Workshop mit utopia, der sich auf EPIC 2 konzentrierte. Ziel des Workshops war es, gemeinsam Use Cases zu identifizieren und zu spezifizieren, um daraus einen UI-Prototypen abzuleiten. Der Ablauf des Workshops gliederte sich in folgende Schritte:

1. Status Quo: Pains und Gains der Zotero UI verifizieren:

Die Analyse von Pains (Schwächen) und Gains (Stärken) ermöglicht es, gezielt auf die Bedürfnisse der Nutzerinnen und Nutzer einzugehen. Durch die Identifikation von Schwächen können gezielte Verbesserungen vorgenommen werden, während die Stärken als Basis für weiteres Wachstum dienen.

In einem ersten Schritt wurden die Herausforderungen und Erfolge der bestehenden Benutzeroberfläche von Zotero analysiert und mit den Erkenntnissen aus dem Pain Point Canvas verglichen. Dies diente dazu, die aktuellen Schwächen und Stärken zu identifizieren.

2. Bedürfnisse und Analysepfad der Nutzerinnen und Nutzer identifizieren:

Personas bieten einen greifbaren Rahmen, um sich in die Nutzerinnen und Nutzer hineinzuversetzen. Sie helfen, die Vielfalt der Zielgruppe zu verstehen und eine nutzerzentrierte Entwicklung zu gewährleisten.

Die Definition einer Persona, in diesem Fall einer Redakteurin, ermöglichte es, die Bedürfnisse und den Analyseweg der Nutzerinnen und Nutzer zu verstehen. Personas sind Nutzermodelle, die das Verhalten, die Ziele, Erwartungen und Motivationen einer Zielgruppe charakterisieren.

3. Ausarbeitung der Use Cases:

Die Persona diente als Ausgangspunkt für die Formulierung konkreter Use Cases. Dabei wurden im Value Proposition Canvas die Pain Relievers und Gain Creators abgeleitet, um die Bedürfnisse der Nutzerinnen und Nutzer besser zu adressieren.

Die Spezifikation der Use Cases sieht folgendermaßen aus:

• 3.1 Artikel schreiben beziehungsweise Research/Slides für Kundenworkshop erstellen (Beratung):Redakteurinnen und Redakteure können mit Hilfe des Systems einen neuen Artikel verfassen und nach passenden Publikationen suchen. Dabei kann es sich um eine oder mehrere Publikationen handeln.
• 3.2 Artikel aktualisieren beziehungsweise Slides/Researchergebnisse aktualisieren: Diese Funktion ermöglicht die Überarbeitung bestehender Artikel oder die Aktualisierung von Workshop-Materialien und Forschungsergebnissen. Dabei können sowohl Redakteurinnen und Redakteure als auch Beraterinnen und Berater beteiligt sein.
• 3.3 Textstelle und Publikation bewerten:Die Nutzerinnen und Nutzer haben die Möglichkeit, die in der KI-Anwendung gefundenen Texte und Publikationen als passend oder relevant zu bewerten. Dies dient der kontinuierlichen Verbesserung des Systems.
• 3.4 Benachrichtigung bekommen: Das System informiert über vorhandene Artikel und benachrichtigt, wenn neue passende Publikationen verfügbar sind.
  Theoretischer Hintergrund: Warum sind Use Cases wichtig? Use Cases definieren die Interaktionen zwischen User und System. Sie stellen sicher, dass die Funktionalitäten des Systems den tatsächlichen Bedürfnissen der Nutzer entsprechen und bieten eine klare Struktur für die Entwicklung.
• 4. Prototyping: Prototyping ermöglicht es, eine greifbare Vorstellung von der geplanten Lösung zu erhalten, bevor diese vollständig umgesetzt wird. Es unterstützt die frühzeitige Identifikation von möglichen Problemen und erleichtert die Kommunikation zwischen Entwicklern und Anwendern.

Die Anforderungen an das Tool wurden im Feature Canvas zusammengefasst und priorisiert. Das Feature Canvas diente als zentrale Ablage für die Spezifikation der Use Cases und machte deutlich, wo es im Arbeitsablauf der User hakt.

Ergebnisse des Feature-Canvas-Workshops

Der Workshop zum Feature Canvas führte zu klaren Prioritäten und Anforderungen für die Entwicklung des Tools im Rahmen des Projekts "Intelligente Wissensdatenbank - Unterstützung der Integration von Aleph Alpha". Die identifizierten Anforderungen lassen sich in drei Kategorien einteilen.

• Must-Haves:Besonderes Augenmerk wurde auf Funktionen gelegt, die für die Effizienz des Tools unerlässlich sind. Dazu gehören die Erfassung von Titel, Autorin oder Autor, Erscheinungsjahr sowie die Hinterlegung der hinter der Quelle stehenden Institution. Die Gruppierung von Publikationsreihen (Threads) und ein schneller Überblick über Studienergebnisse und Studiendesigns sind ebenfalls unerlässlich. Die Relevanz der Publikationen, eine transparente Reihenfolge der Suchergebnisse und die Möglichkeit, nach Publikationskategorien zu filtern, sind grundlegende Anforderungen. Darüber hinaus sollten konkrete Textstellen in den Quellen markiert werden können, die Suche nach Publikationen über Schlagworte sowie die Filterung und Sortierung nach Datum sind entscheidend. Das System sollte auch eine Anzeige der relevanten Stellen in den Publikationen und ein Feedbacksystem in Form eines Ampelsystems bieten.
• Should-Haves:Die zweite Kategorie umfasst Funktionen, die nicht zwingend erforderlich sind, aber einen erheblichen Mehrwert bieten. Dazu gehören Benachrichtigungen, beispielsweise per E-Mail, um die Nutzerinnen und Nutzer über relevante Aktualisierungen zu informieren. Darüber hinaus sollte es möglich sein, bestimmte Themen zu verfolgen, um gezielt auf dem Laufenden zu bleiben. Die Identifizierung neuerer Publikationen der gleichen Reihe sowie der Hinweis auf neu verfügbare Studien sind weitere wünschenswerte Funktionen. Ebenso sollte eine Filterung und Sortierung nach Methodik und Studiendesign möglich sein.
• Good-To-Haves:Die dritte Kategorie umfasst Funktionen, die zusätzlichen Komfort bieten, aber nicht als unverzichtbar angesehen werden. Dazu gehören flexible Modi für unterschiedliche Nutzerbedürfnisse sowie die Möglichkeit, den Relevanz-Score über Schieberegler anzupassen. Ein Zitatgenerator (Fact Box) könnte die Nutzung und Verarbeitung der Inhalte erleichtern. Darüber hinaus wird eine kontinuierliche Abfrage und Rückmeldung der Nutzer zur Vertrauenswürdigkeit der Publikationen als wünschenswert erachtet.
  Die klare Priorisierung dieser Anforderungen bietet einen strukturierten Fahrplan für die Entwicklungsphase, wobei der Fokus auf den Must-Haves, gefolgt von den Should-Haves und schließlich den Good-To-Haves liegt. Dieser Ansatz stellt sicher, dass das Tool zunächst die grundlegenden Anforderungen erfüllt und später um zusätzliche Funktionen erweitert werden kann, um einen höheren Grad an Anpassung und Benutzerfreundlichkeit zu gewährleisten.

5. Feedback:

Nutzerfeedback ermöglicht die kontinuierliche Verbesserung des Systems und die Anpassung an sich ändernde Nutzerbedürfnisse. Iteratives Feedback fördert die Benutzerfreundlichkeit und Akzeptanz. Das Feedback zum Prototyp war sehr positiv. Die Nutzerinenn und Nutzer begrüßten die neuen Funktionen und zeigten sich mit der Benutzerfreundlichkeit des Systems zufrieden.

Die definierten Use Cases und Features bieten einen klaren Rahmen für die Umsetzung von Funktionalitäten, die die redaktionelle Arbeit nachhaltig erleichtern werden. Die Ergebnisse des Feature Canvas Workshops legen den Grundstein für die Entwicklung eines benutzerfreundlichen und funktionsreichen Tools, das die redaktionelle Effizienz steigert und den Umgang mit Wissensdatenbanken revolutioniert.

Das Projekt zeigt nicht nur den technologischen Fortschritt, sondern auch den Mehrwert der Zusammenarbeit von KI-Experten, Softwareentwicklern und den eigentlichen Nutzern des Systems. Die Weiterentwicklung und Implementierung der definierten Funktionalitäten verspricht eine innovative Lösung für die Herausforderungen der redaktionellen Arbeit in einer digitalen Welt.