IKommHelp:P&E Evaluation

From Wiki

2. Planung und Entwurf

2.1. Evaluation

Contents 1 1. Einleitung 2 2. Der Selbsttest 3 3. Die Ist-Analyse 4 4. Weiterverarbeitung der Ergebnisse

1. Einleitung

Für die Evaluationsgruppe, die aus Thomas Baumeister, Insa Hinrichs, Christin Polzer und Astrid von der Pütten bestand, stellten sich drei Hauptaufgaben:

• Die Erstellung einer Ist- Analyse des Daffodil-Programms
• Die begleitende Evaluation während der Entwicklung des Hilfesystems (z.B. Befragungen zu geeigneten Icons, Mock-Ups etc.)
• Die abschließende Befragung zum entstandenen Hilfesystem.

2. Der Selbsttest

Der erste Schritt, um Daffodil besser kennen zu lernen und um herauszufinden, wie man mit dem System arbeitet, bestand darin, das Programm selbst zu testen. Dabei konnten wir selbst erfahren, bei welchen Werkzeugen des Programms Verständnisprobleme und auch Fehler auftraten.

3. Die Ist-Analyse

3.1. Die Erstellung des Interviewleitfadens

Bevor wir einen Interviewleitfaden erstellt haben, haben wir die Projektleiter gebeten, Werkzeuge ohne Funktion aus dem Programm zu nehmen, da diese bei einer Befragung nur in die Irre führen. Danach haben wir auf Grundlage des Selbsttests einen Interviewleitfaden erstellt. Dieser sollte zunächst persönliche Daten sowie der Selbsteinschätzung der Versuchspersonen bezüglich ihrer Englisch-, PC- und Internetkenntnisse erfassen. Außerdem interessierten uns die Vorkenntnisse bei der Informationssuche mit Suchmaschinen und in Bibliotheken. Es ist davon auszugehen, dass Benutzer mit mehr Erfahrung in diesen Bereichen schneller neue Programme kennenlernen und neugierig erforschen wollen.

Im ersten Kontakt mit dem Programm sollten die Testpersonen die Benutzeroberfläche erklären. Wir wollten wissen, ob das Suchfenster, die Persönliche Bibliothek und die Menüleiste auf Anhieb erkannt werden.

Anschließend sollte ein vorgegebenes Suchszenario den Probanden das Testen des Programms erleichtern. Dieses bestand darin, Literatur von Herrn Prof. Dr. Norbert Fuhr zu suchen. Im Anschluss daran sollte die Suche auf die Stichworte „intelligente Systeme“ eingegrenzt werden. Weiterhin wollten wir herausfinden, wie die Tester mit den Suchergebnissen weiterarbeiten würden. Fragen dabei waren u. a. Folgende: Erkennen sie, was das Auge bedeutet? Sind sie in der Lage, ausgewählte Resultate in die persönliche Bibliothek zu verschieben? Die Probanden sollten erst Hilfe beim Ausbleiben eigener „Lösungen“ erhalten.

Dann sollten die Werkzeuge der Menüleiste der Reihe nach abgefragt werden. Folgende Fragen wurden zu jedem Icon gestellt:

• Nach was sieht das Icon aus?
• Was könnte das Icon bedeuten?
• Welche Funktion suggeriert das Icon?
• (nach dem Öffnen des Werkzeugfensters) Erkennen Sie die tatsächliche Funktion des Werkzeugs?
• Wie benutzt man es?
• Wo traten beim Benutzen Probleme auf?
• Gibt es Kritik (Verbesserungsvorschläge, Kommentare)?

Diese Fragen sollten Aufschluss darüber geben, ob die Icons selbsterklärend sind und welche Werkzeuge im Hilfesystem und im -film (Tutorial) erklärt werden müssen.

Einen kurzen Fragenblock widmeten wir der proaktiven Hilfe, um in Erfahrung zu bringen, ob sie als solche wahrgenommen wurde. Wir wollten wissen, ob sie dem Nutzer eher lästig oder zu unaufdringlich erscheint und ob er ihre Vorschläge als eher hilfreich oder eher unbrauchbar ansieht, um auch an dieser Stelle einen eventuellen Verbesserungsbedarf zu erfassen.

Um beurteilen zu können, ob das Programm für den Benutzer attraktiv genug für den eigenen Gebrauch ist, haben wir zuletzt die folgenden Fragen formuliert:

• Würden Sie Daffodil persönlich nutzen ( nicht nur für Informatik)?
• Sehen Sie besondere Vorteile / Nutzen von Daffodil gegenüber anderen Suchsystemen?
• Haben Sie Kritik an Daffodil im Allgemeinen?

3.2. Beschreibung der Testpersonen

Die befragten Personen gliederten sich in zwei Gruppen: Erstens Anfänger und zweitens Wissenschaftliche Mitarbeiter, die schon länger mit Daffodil arbeiten. Auf diese Weise konnte der Klärungsbedarf aus Sicht eines Programm-Neulings, sowie aus professioneller Sicht festgestellt werden. Besonders die Sicht des Anfängers war für uns von Interesse, weil wir aus eigener Erfahrung wissen, dass sich gerade bei Anfängern deutlich die Schwachstellen der Benutzerfreundlichkeit eines Programms zeigen.

Die Gruppe der Anfänger bestand aus acht Personen zwischen 22 und 54 Jahren und setzte sich aus StudentInnen, Diplom- Ingenieuren und Programmierern zusammen. Ihre Selbsteinschätzung bezüglich der Englischkenntnisse reichte von gut bis schlecht auf der vorgegebenen Ratingskala (sehr gut – gut – mittel – schlecht – sehr schlecht). Auf derselben Skala wurden die eigenen PC-Kenntnisse mit gut und mittel bewertet. Alle Probanden gaben an, sich „gut“ mit dem Internet auszukennen und stuften ihre Erfahrungen bei der Informationssuche von sehr gut bis mittel ein.

Unsere Gruppe der Fortgeschrittenen besteht aus drei Wissenschaftlichen Mitarbeitern (Wimis) vom Lehrstuhl für Informatik im Alter von 29 und 31 Jahren. Diese schätzten ihre Englischkenntnisse mit sehr gut bis mittel ein. Mit sehr gut und gut haben die Wimis ihre PC- und Internetkenntnisse eingestuft. Ihre Erfahrungen in der Informationssuche schätzten alle mit sehr gut ein. Dabei gaben sie an, Daffodil zwei- bis dreimal die Woche zu nutzen und auch andere digitale Bibliotheken zur Informationsbeschaffung heranzuziehen.

3.3. Die Befragung

Jeder Interviewer machte es sich zur Aufgabe, eine festgelegte Mindestanzahl an Personen anhand des zuvor erstellten Leitfadens nach der Verständlichkeit und der Benutzerfreundlichkeit von Daffodil zu befragen. Als Material für das Interview wurde sowohl der Interviewleitfaden als auch ein Computer, dessen Systemleistungen für Daffodil ausreichen, benötigt. Die Bereitstellung beider Materialen war nicht bei jeder Befragung unproblematisch: das Programm muss nur allein für den Test auf einem fremden Rechner neu aufgespielt werden, was nicht ganz ohne Umstände (Einrichtung des Java Runtime-Environment) zu bewerkstelligen ist. Für den Test auf dem Notebook mit vorinstalliertem Programm muss die Internetverbindung immer aktiviert sein, eine Voraussetzung, die selbst auf dem Gelände der Uni Duisburg nicht lückenlos erfüllt wird. Und zum dritten muss das Programm ständig aufrufbar sein, was leider auch nicht immer der Fall sein konnte. All diese technischen Unzulänglichkeiten fielen in der Gesamtheit betrachtet jedoch nicht zu sehr ins Gewicht. Für den Vorgang der Befragung waren wir von der Dauer von einer Stunde ausgegangen, eine Einschätzung, die in der Regel zutraf, manchmal sogar übertroffen wurde.

3.4. Die Ergebnisse

Auf den ersten Blick konnte man feststellen, dass, je länger jemand mit dem Programm arbeitet, er / sie „betriebsblind“ für Probleme und Fehler war. Außerdem akzeptierte man nach der Einarbeitungszeit die Icons und deren Funktion, die z.B. in anderen Programmen Symbole für vollkommen andere Funktionen sind. Gerade für Anfänger waren diese Icons jedoch oft irreführend und erschwerten anfangs das Zurechtfinden. Es hat sich ebenfalls herauskristallisiert, dass einige Werkzeuge seltener als andere bzw. kaum benutzt wurden.

3.4.1. STARTOBERFLÄCHE

Die Aufteilung der Startoberfläche in Sucheingabe und Ergebnisausgabe wurde immer erkannt, lediglich die Funktion der Persönlichen Bibliothek war für einige Probanden neu und musste deshalb erklärt werden. Auch die Erkennung der Menüleiste stellte kein größeres Problem dar. Es war ebenfalls allen Probanden möglich, das jeweils Gesuchte in die richtigen Felder einzugeben. Dass man, um Informationen über die Ergebnisse zu erhalten, den Text anklicken muss, haben alle erkannt. Auch die Homepage Suche, die Google Suche und Google Scholar bereiteten keine Probleme. Erklärungsbedarf bestand zum Einen bei dem Symbol des Auges, zum Anderen musste darauf hingewiesen werden, dass man Ergebnisse in die persönliche Bibliothek verschieben und dort aufbewahren kann. Nicht unerwähnt sollten die Fulltext-Suche und das Extract-Tool bleiben, welche beide fast ausschließlich nur mit Hilfe erkannt und letzteres auch nur mit Hilfe wahrgenommen wurden. Allerdings wurden die Werkzeuge Hompage-, Fulltext- und Google-Suche, sowie Google Scholar fast nie benutzt, wie wir von den häufigeren Nutzern erfahren haben.

3.4.2. THESAURUS

Das Icon des Thesaurus deutete auf eine textverarbeitende Funktion hin. Auch die Funktion des Thesaurus-Werkzeugs konnten sich nicht alle Probanden an Hand des Begriffes Thesaurus erklären. Mit dem Öffnen des Werkzeugfensters wussten die meisten aber um die Leistung des Werkzeugs und konnten problemlos damit umgehen. Es traten trotzdem auch Probleme auf: Oft wurde angemerkt, dass der Thesaurus in seiner inhaltlichen Begrenzung auf das Themengebiet der Informatik unvollständig erscheine. Die Einkreisung der Begriffe in die Kategorien „broader“ und „narrower“ wussten die Probanden oft nicht einzuordnen.

3.4.3. NETWORKS

Icon (Kopf) und Name des Werkzeugs waren für fast alle Befragten nicht aussagekräftig genug. Nach dem Öffnen des Fensters erkannten jedoch alle, dass es sich um die Autorensuche handelt und erkannten schnell die Funktionen. Dabei verwiesen sie auf die Unübersichtlichkeit der Ergebnisdarstellung.

3.4.4. CLASSIFICATION

Zumeist hat das Icon Assoziationen mit Netzwerken und Diagrammen hervorgerufen, dennoch konnte sich niemand eine nützliche Funktion darunter vorstellen. Nach dem Öffnen des Fensters war jedoch allen verständlich, dass es sich um eine Suche nach Genres handelt. Jedoch gab es eine Testperson, welche von dem englischen Text zu sehr abgeschreckt war, um sich mit der Funktion vertraut zu machen. Die erfahrenen Benutzer waren sehr gut mit der Funktion vertraut, fanden jedoch die Erklärungen auf der rechten Seite zu groß, da sie den halben Bildschirm einnehmen.

3.4.5. CONFERENCES

Durch das Icon mit den drei Figuren und dem Begriff „Conferences“ vermuteten die Anfänger, über dieses Werkzeug könne man Informationen mit anderen Personen, z.B. in einem Wiki austauschen. Dass man damit nach Teilnehmern an Konferenzen sucht, ist auch den Profi-Nutzern nicht verständlich, da die Anfrage nicht funktionierte. So blieb nur der Kommentar, dass die Idee dieser Funktion sehr gut wäre. Doch „Search Conferences WITH“ wäre noch bezeichnender.

3.4.6. JOURNALS

Das Symbol der Zeitung haben alle erkannt. Jedoch divergierten die Vorstellungen über die Funktion: Zeitungssuche, Artikelsuche, neueste Meldungen. Jedoch begriffen die Probanden mit dem Öffnen des Fensters, dass man mit dem Werkzeug nach Artikeln suchen kann. Dagegen verstanden sie nicht, wie die Suche erfolgen sollte, da man weder nach Autoren noch nach Jahren suchen kann. Folglich musste erklärt werden, dass dies eine Schlagwortsuche ist. Ein Problem stellte auch hier die Funktionsuntüchtigkeit des Werkzeugs dar.

3.4.7. CLIPBOARD

Icon und Funktionsweise einer Zwischenablage wurden sofort und ohne Probleme erkannt. Trotz der problemlosen Handhabung kritisierten die Probanden stark, dass man sich die abgelegten Texte nicht angucken konnte und bemerkten, dass die Persönliche Bibliothek durchaus die Funktion einer Zwischenablage übernimmt. Letzteres ist auch der Grund, weshalb Profis das Clipboard nicht benutzen.

3.4.8. EINSTELLUNGEN

Das Icon soll eigentlich eine Checkbox und einen Radiobutton darstellen, doch alle Probanden sahen in dem Button ein „I“ für Information. Dass es sich hierbei um persönliche Einstellungen handelt, erkannten alle erst nach der Erklärung. Danach war auch die Funktion aber nicht die Funktionsweise klar. Selbst erfahrene Benutzer haben große Probleme mit den missverständlichen englischen Begriffen und damit, dass manchmal keine Rückmeldung erfolgt.

3.4.9. PROAKTIVE HILFE

Die proaktive Hilfe wurde immer wahrgenommen und erkannt, jedoch führten die verschiedenfarbigen Schlängellinien oft in die Irre. Dennoch wurde sie als hilfreich und unaufdringlich angesehen.

3.4.10. ZUSAMMENFASSUNG

Nicht jedes Werkzeug funktionierte, aber die Werkzeugzusammensetzung der Applikation wurde von allen Testern als sehr gut befunden. Probleme machten die mehrdeutigen Icons, die Dauer einer Suche und die englische Sprache des Programms. Dazu wird die Zeit bis zum Ende einer Suche deplatziert unten links und mit falscher Restdauer angezeigt. Alle Tester würden diese Applikation privat nutzen, wenn sie ausgereift und auch für andere Themenbereiche anwendbar wäre.

4. Weiterverarbeitung der Ergebnisse

Die Ergebnisse der Ist-Analyse wurden der Projektgruppe in einer Präsentation vorgestellt. Danach konnten die erhobenen Daten als Grundlage für die Erstellung der Hilfe und für die Suche nach passenden Icons weiterverarbeitet werden.

Zur Gesamtübersicht: Abschlussbericht Praxisprojekt IKommHelp Wintersemester 2005/2006 Gruppe 1