Der Usability-Testbericht

1. Leitfaden für einen Denkwerkzeuge Testbericht

In den nächsten Wochen werden wir im Seminar verschiedene Denkwerkzeuge kennenlernen. Werkzeuge, welche den Denkprozess unterstützen und unser persönliches Wissensmanagement erleichtern sollen. Dabei ist es immer wieder angeklungen, dass es zwar viel möglicherweise hilfreiche Programme und Funktionen gibt, diese er nur selten angewandt werden. Meist scheint der Einarbeitungsaufwand so groß zu sein, dass das Gefühl entsteht es lohne sich nicht das Tool zu benutzen. Ein Ziel dieses Seminares soll es jedoch sein, diese Denkwerkzeuge nicht nur kennenzulernen, sondern sie auch anzuwenden. Dabei kann eine begründete Bewertung hilfreich sein. Es wird demzufolge immer wieder auf die Frage hinauslaufen:

Will ich das Werkzeug benutzen und warum bzw. warum nicht?

Dazu lohnt es sich einen individuellen bzw. auf diese Seminar ausgelegten Kriterienkatalog zu erstellen, der bei jedem neuen Tool herangezogen werden kann. Um das geeKostenignete Werkzeug auszuwählen sind folgende Fragestellungen hilfreich:

  • Was bewerte ich?
  • Wie bewerte ich?
  • Nach welchen Kriterien bewerte ich?
  • Welches Ergebnis möchte ich erzielen?
  • Was ist mir (am Werkzeug) wichtig?

Um die Ausgangsfrage zu beantworten sollte eine Vorlage für einen Testbericht erstellt werden. Die Kriterien hierfür wurden im Plenum zusammengetragen. Eine mögliche Vorlage ist die folgenden:

  1. Name und kurze Beschreibung des Testgegenstandes
  2. Zweck der Evaluierung
  3. Kriterien der Bewertung:

nicht-inhaltliche Kriterien:

  • Kosten: kostenlos/ für Studenten kostenlos oder kostenpflichtig?
  • Design: wie ist die Gestaltung?
  • Verfügbarkeit: für Mac oder Windows verfügbar?
  • Zielgruppe: wer sollte es benutzen, wem hilft es?
  • Einzigartigkeit: gibt es noch ähnliche Produkte oder nicht?
  • Vergleichbarkeit: gibt es vielleicht bessere Produkte, warum gerade dieses?
  • Integrierbarkeit: kann ich das Werkzeug in meine bisher genutzten Programmen                               integrieren?

inhaltliche Kriterien:

  • Verständlichkeit: wie logisch und intuitiv ist das Werkzeug aufgebaut?
  • Einarbeitungszeit: wie lange brauche ich um das Programm zu beherrschen?
  • Einarbeitungsaufwand: wie viel Aufwand muss ich investieren?
    • Kosten/Nutzen: wie hoch ist der „Gewinn“ des Werkzeugs?
  • Gebrauchstauglichkeit:
    • Effektivität: Wie erfolgreich kann ich die Aufgaben durchführen?
    • Effizienz: Wie viel Zeitersparnis habe ich durch das Werkzeug?
    • Zufriedenheit: Bin ich insgesamt mit dem Werkzeug zufrieden?

2. Der Usability Testbericht

Nicht nur wir wollen im Seminar Werkzeuge hinsichtlich ihrer Gebrauchstauglichkeit bewerten, dieser Prozess ist in Organisationen, bei Einführung neuer Produkte oder bei dem Entwickeln von Prototypen gängigereviwe Praxis. Nach der Usability Evaluation und dem Usability-Test ist es wichtig, die Ergebnisse in einem Usability-Testbericht festzuhalten. Hierfür gibt es ebenfalls wie für die Evaluation eine ISO Norm (ISO/IEC 250662 Common Industry Format for Usability-Evaluation Report) in der der Aufbau des Testberichtes festgehalten wird. Neben den formalen Kriterien gibt es Hinweise, wie ein Bericht gestaltet und aufgebaut werden sollte.

Als oberstes Prinzip ist festzuhalten, dass der Bericht selber gebrauchstauglich sein muss. Es geht darum, Ergebnisse präzise und überzeugend zu vermitteln und nicht möglichst alle Einzelheiten aufzuzählen. Daumenregel: Höchstens 40 Testergebnisse (Arbeitskreis Qualitätssicherung, 2014). Deshalb sollte beim Schreiben immer darauf geachtet werden, sich kurz, bündig und verständlich auszudrücken. Ganz im Sinne der intervierten Pyramide: beim Allgemeinen anfangen und immer spezieller werden.

Zudem sollen die Testergebnisse meist an einen Auftraggeber „verkauft“ werden, der schnell demotiviert ist wenn er nur die negativen Seiten seines Produkt aufgezählt bekommt. Deshalb gilt die Faustregel, dass der Bericht mindestens 25% positive Ergebnisse enthalten sollte (Arbeitskreis Qualitätssicherung, 2014). Zudem sollten die Ergebnisse gewichtet und mit konstruktiven Verbesserungsvorschlägen versehen werden. Nichtsdestotrotz sollten ernsthafte Probleme deutlich gekennzeichnet und schnell zu erfassen sein. Bedenke: Zweck des Berichts ist immer die Verbesserung des Produkts. Vorgehensweisen und Quellen müssen wie üblich beim wissenschaftlichen Arbeiten transparent gemacht werden, um dem Auftraggeber die Überprüfbarkeit der Ergebnisse zu gewährleisten.

Im Gegensatz zu einer psychologischen (Test-)Studie muss keine Definition des Sachverhaltes bzw. von Usability verfasst werden, da der Auftraggeber nicht an theoretischen Definitionen sondern an Ergebnissen und Empfehlungen interessiert ist. Ebenso sollten nicht alle Einzelheiten zur Rekrutierung und vollständigen Transkripten der Testteilnehmer aufgeführt werden. Lange Sätze sollten vermieden werden. Ebenso Fachwörter wie „heuristisch“, „kognitive load“ oder „Affordance“ wenn diese dem Leser möglicherweise nicht bekannt sind.

2.1 Aufbau Testbericht

1.Executive Summary

Zielgruppe des ersten Teils sind Entscheidungsträger in Führungspositionen. Diese sind oft die Auftraggeber und besonders wichtig, haben jedoch häufig nicht die Zeit den ganzen Bericht zu lesen und sind nicht persönlich Zuständig für die Änderungen. Für sie ist es ausschlaggebend zu wissen ob das Produkt gut ist oder nicht und ob Zeit und Personal für große Modifikationen eingeplant werden müssen. Deshalb sollte in der Zusammenfassung gleich zu Anfang auftauchen, ob der Testgegenstand so bleiben kann oder ob größere Änderungen nötig sind.

Die Fragestellung sollte hier kurz erläutert werden. Auf eine kurze Beschreibung des untersuchten Gegenstandes folgt eine sehr knappe Beschreibung der angewandten Methoden. Die wesentlichsten Ergebnisse sollten präsentiert werden, zusammen mit den wesentlichsten Empfehlungen. Um den Einstieg angenehm zu gestalten wird mit den positiven Ergebnissen begonnen. Alle Ergebnisse, die in er Zusammenfassung genannt sind, müssen im Abschnitt „Testergebnisse“ genauer beschrieben werden. Auf die positive Ergebnisse zusammen mit den wesentlichen positiven Reaktionen der Testpersonen folgen die ausschlaggebenden Usability-Probleme mit Hinweisen, welche Bereiche überarbeitet werden müssen. Hier kann eine kurze Einschätzung abgegeben werden, ob die Nachbesserung gravierend und aufwendig sein wird oder nicht. Insgesamt sollte das Executive Summary nicht mehr als zwei Seiten umfassen.

2. Einleitung

Die Einleitung soll einen Überblick über die Evaluierung und den getesteten Gegenstand bieten. Dazu gehört ein Inhaltsverzeichnis und eine kurze Beschreibung, wie der Ergebnisbericht aufgebaut ist.

 2.1 Beschreibung des Testgegenstandes

Ein Testgegenstand kann ein Konzept, ein Prototyp, ein Softwaresystem, ein Hardwareprodukt, eine Teilkomponente eines Produkts oder auch eine Dienstleistung sein. In diesem Abschnitt wird der Testgenstand kurz und knapp beschrieben . Dazu gehören:

  • vollständige Name des Testgegenstandes
  • kurze Beschreibung des Testgegenstandes und seines Zwecks
  • genau Angabe der Version
  • getesteter Teil des Systems

Optional sind hinzuzufügen:

  • Zielgruppe des Systems
  • Nutzungskontext
  • Hinweise auf vorherige Evaluation
  • Bilder des Testgegenstandes um zu verdeutlichen, wie das Produkt zur Zeit der Testung aussah

2.2 Zweck der Evaluierung

Dieser Abschnitt dient dazu, die Absicht der Studie genauer zu beschreiben. Im Falle einen Usability Evaluierung ist diese oft die Stärken und Schwächen des Testgegenstandes zu finden.

4. Vorgehensweise

4.1 Stichprobe

Eine genaue Beschreibung der Stichprobe soll erfolgen. Dazu gehören:

  • Anzahl der getesteten Personen für jede Aufgabe
  • demographische Daten inklusive Geschlecht, Bildung, Beruf und Alter. Informationen können in einer Tabelle oder als Liste präsentiert werden
  • Vorerfahrung mit Testgegenstand

4.2 Methodenübersicht

Eine genaue Beschreibung der verwendeten Usability-Methoden sollte erfolgen. Eine Übersicht über die Methoden findest du hier.

4.3 Methodengrundlage

Die Auswahl der Usability-Methoden sollte begründet werden. Empfehlungen für theoretische Abhandlungen der verwendeten Methode können gegeben werden.

4.4 Usability-Testkennwerte

In diesem Abschnitt werden die verwendeten Testkennwerte, die benutzt wurden um die Gebrauchstauglichkeit  zu messen, näher beschrieben (eine genauere Beschreibung findest du hier).

4.4.1 Effektivität

Welche Variablen wurden gemessen um die Effektivität zu bestimmen? Wann wurde eine Aufgabe als erfolgreich bewertet, welche Kriterien wurden angewendet?

4.4.2 Effizienz

Wie wurde Effizienz gemessen? Meist wird hier die Zeit gemessen, die Testteilnehmer benötigen um eine Aufgabe (korrekt) durchzuführen.

4.4.3 Zufriedenheit

Wie wurde die Zufriedenheit bestimmt? Wie zuversichtlich waren die Teilnehmer, die Aufgaben korrekt durchgeführt zu haben? Wie zufrieden waren sie mit dem Testgegenstand? Selbstbericht vs. Fremdeinschätzung?

5. Usability-Testskript

Hier sollen Details des Usability-Tests beschrieben werden. Dazu gehören eine genaue Beschreibung des Testablaufes, der verwendeten Technik, die Beschreibung der Test- Location und die verwendeten Aufgaben. Die Studie soll hinreichend detailliert dargestellt werden, so dass sie anhand der gegebenen Informationen jederzeit von einer anderen Person oder Organisation reproduziert werden könnte.

5.1 Anweisungen vor der Testsitzung

Die genauen Anweisungen, die die Testteilnehmer vor der Sitzung erhalten haben sollen hier wiedergegeben werden. Dazu gehören u. A.:

  • der Zweck des Usability-Tests wird vom Moderator erläutert
  • Zweck der Ausrüstung wie Mikrophone, Videokameras etc. wird erläutert
  • „Wir beurteilen nicht Sie. Wir beurteilen das Produkt“

5.2 Pre-Session Interview

Falls es ein Interview vor dem Start des Testdurchlaufes gab sollten die Fragen und Antworten in diesem Abschnitt wiedergegeben werden.

5.3 Testaufgaben

Die Testaufgaben sollten immer mit dem Auftraggeber abgesprochen werden um sicherzugehen, dass relevante Fragestellungen getestet werden. Die Anzahl der Aufgaben sollte genannt werden. Eine genaue Beschreibung der Aufgaben sollte erfolgen und beinhaltet:

  • Text, den der Testteilnehmer erhielt
  • Grund, warum die Aufgabe gewählt wurde
  • Kriterium für erfolgreiche Aufgabenbeendigung
  • optional: erwartete Antwort

5.4 Post-Session Interview

Die nach der Testsitzung gestellten Fragen werden aufgeführt. Dazu gehören z.B.:

  • Was hat Ihnen am besten gefallen? Was hat Ihnen am wenigsten gefallen?
  • Würden sie XY ihren Freunden empfehlen? Wenn ja/ nein, warum?

6. Testergebnisse

Die Beschreibung der Testergebnisse sollte so ausführlich sein, dass der Leser alle nötigen Informationen erhält. Trotzdem sollte sie so kurz wie möglich dargestellt werden und keine überflüssigen Informationen enthalten.

Bestandteile der Testergebnisse sind:

Einstufungen:

Die Testergebnisse sollen gewichtet werden. Zur besseren Übersichtlichkeit bietet sich hierfür die Einführung eines Zeichensystems an, so dass der Leser schnell erkennen kann um was für ein Ergebnis es sich handelt (siehe Abb. 3). Hierfür gibt es kein standardisiertes Verfahren, jedoch sollte auf die Unterscheidbarkeit der verwendeten Symbole geachtet werden.

Gruppierungen:

Um den Überblick zu erleichtern sollten die Ergebnisse gruppiert werden. Mögliche   Gruppierungen sind:

  • Funktionsgruppen des Produkts
  • Probleme, die über alle Aufgaben hinweg auftraten

Zudem sollten die Ergebnisse inhaltlich gruppiert werden. Hierbei werden die Existenzbedrohenden Probleme als erstes genannt. Diese Kategorie macht deutlich, dass gravierende Fehler zum Abbruch der Aufgaben und zum nicht Benutzen des Testgegenstandes führen würden.

Wie schon im Executive Summary wird mit den positiven Ergebnissen begonnen. Diese sind wichtig, damit positive Aspekte des Produkts nicht geändert werden. Danach folgen die Usability Probleme. Begonnen wird mit den kritischen Problemen, dann folgen die ernsthaften und zum Schluss die geringen Probleme

Beschreibung der Testergebnisse
ZB MED(2006). Usability-Studie zum Internetportal www.vascoda.de

Abb. 4 aus ZB MED(2006). Usability-Studie zum Internetportal
http://www.vascoda.de

Optional können hinzugefügt werden:

  • Benutzerzitate
  • Abbildungen

Machen die Ergebnisse z.B. vom Eye-Tracking leichter verständlich (Abb.4) und folgen zusammen mit einem kurzen Text, der auf das Testergebnis hinweist, nach dem Usability-Befund.

Empfehlungen:

Wenn vom Auftraggeber gefordert können für die aufgedeckten Usability-Probleme Verbesserungsvorschläge hinzugefügt werden. Diese können entweder von den Teilnehmern selber oder von den Experten kommen.

7. Anhang

Die verwendeten Frageböge, Tabellen und für die Testdurchführung benötigten Materialien werden im Anhang hinzugefügt. Ebenso sollten hier alle benutzen Quellen aufgelistet werden.

3. Was kennzeichnet einen gutes Testbericht?

Wie anfangs erwähnt muss der Bericht selber gebrauchstauglich sein. Um dies einzuhalten sollte kurz und bündig dargestellt werden:bewertung

  • Was wurde gemacht?
  • Wie wurde es gemacht?
  • Was wurde gefunden?
  • Implikationen und Empfehlungen

Der Testbericht sollte einheitlich, verständlich und logisch aufgebaut sein. Das Layout sollte hilfreich sein und den Inhalt bzw. die Nachvollziehbarkeit unterstützen.


Quellen

Gaffney, G. Writing usability reports. Abgerufen am 6.11.2014 von http://infodesign.com.au/usabilityresources/writingusabilityreports/

National Institute of Standrads and Technology (2010). Usability Test Report. Abgerufen von http://www.nist.gov/itl/vote/upload/Guidelines_CIF_Template_Laboratories-2.pdf

Riedemann, C., Daske, L. & Molich, R. (20014). Usability-Testbericht, Beispiel. Germen UPA e.V., Arbeitskreis Qualitätsstandards. Abgerufen von http://www.germanupa.de/data/mediapool/beispiel_fuer_usability-testbericht_-_arbeitskreis_qualitaetsstandards_der_german_upa.pdf

Schulz, U. (2013). Einen Usability Bericht schreiben. Abgerufen am 6.11.2014 von http://www.bui.fh-hamburg.de/pers/ursula.schulz/webusability/tipsreport.html

Tomlin, C. (25. April 2010). How to Conduct a Usability Review. Abgerufen am 6.11.2014 von http://www.usefulusability.com/how-to-conduct-a-usability-review/

ZB MED (2006). – Ergebnispräsentation – Usability-Studie zum Internetportal http://www.vascoda.de. Abgerufen von http://www.bui.haw-hamburg.de/pers/ursula.schulz/webusability/vascoda_usability_studie_2006-nov.pdf

 

 

 

Advertisements

Kommentar verfassen

Trage deine Daten unten ein oder klicke ein Icon um dich einzuloggen:

WordPress.com-Logo

Du kommentierst mit Deinem WordPress.com-Konto. Abmelden / Ändern )

Twitter-Bild

Du kommentierst mit Deinem Twitter-Konto. Abmelden / Ändern )

Facebook-Foto

Du kommentierst mit Deinem Facebook-Konto. Abmelden / Ändern )

Google+ Foto

Du kommentierst mit Deinem Google+-Konto. Abmelden / Ändern )

Verbinde mit %s