Usability Evaluation

Während es in den vorherigen Beiträgen darum ging, sich dem Begriff Wissensmanagement zu nähern und schon einige Denkwerkzeuge kennen zu lernen, soll es jetzt darum gehen, sich mit dem Begriff Usability, sowie den Methoden deren Erfassung zu beschäftigen. Denn dies ist ein zentrales Merkmal, wenn es darum geht, künftig Denkwerkzeuge zu beurteilen und für sich zu entscheiden, ob man sie verwenden möchte oder nicht.

Bevor man sich überhaupt mit dem Thema „Usability Evaluation“ befasst, macht es zunächst einmal Sinn, sich zu überlegen anhand welcher Kriterien man Produkte und Denkwerkzeuge generell bewerten kann, um sich an den Begriff Usability und an seine genaue Bedeutung heranzutasten.
Zunächst fallen da Merkmale ein wie der Preis, das Preis-Leistungsverhältnis und somit auch die Leistung des Produktes an sich. Außerdem Ausstattung, Design, Effektivität, Effizienz, Nützlichkeit, aber auch die Verfügbarkeit, die vor allem bei Telefon- und Internetverträgen eine Rolle spielt. Machen all diese Begriffe oder einige von ihnen zusammengenommen schon Usability aus oder ist das nochmal ein eigenständiges Kriterium, welches es anders zu definieren gilt?

Was ist Usability?
Eine genaue Antwort scheint nicht so leicht zu finden zu sein. Eine genaue Begriffsklärung erscheint deshalb sinnvoll und sehr wichtig, um Missverständnisse und falsche Annahmen aus dem Weg zu räumen und sich anschließend dem gesamten Feld der Usability und deren Evaluation widmen zu können.
In unserem alltäglichen Sprachgebrauch finden sich zur Übersetzung dieses Begriffs` Wörter wie Benutzerfreundlichkeit (user friendly), Benutzungsfreundlichkeit bzw. spricht man auch oft von einfacher Systemnutzung (ease of use) und Gebrauchstauglichkeit. All diese Begriffe beschreiben das Konstrukt von Usability schon hinreichend, jedoch sind sie nicht allumfassend und treffen nicht den eigentlichen Kern dieses Ausdrucks.

Die Bedeutung von Usability ist in den letzten Jahren enorm angestiegen, was gleich zwei verschiedene Gründe hat. Zum einen nimmt die Multifunktionalität von Produkten immer weiter zu. Betrachtet man als Beispiel Handys, so lässt sich feststellen, dass diese noch vor 20 Jahren fast ausschließlich zum Telefonieren gebraucht wurden. Inzwischen jedoch stellen Handys so etwas wie Mini-Computer dar, mit denen man Nachrichten versenden, E-Mails checken, in sozialen Netzwerken und dem restlichen Internet surfen kann, sowie sich zahlreiche Applikationen für die unterschiedlichsten Anwendungen runterladen kann. Dadurch ist die Bedeutung komfortabler Nutzung, so wie auch die Unterstützung des Nutzers bei der Zielerreichung durch Produkte immer größer geworden.
Des Weiteren kommt als zweiter Grund die Tatsache hinzu, dass der typische Benutzer immer weniger Bereitschaft mitbringt, großen Aufwand zum Erlernen des Umgangs mit Produkten (vor allem auch neuer Software) zu betreiben. Es kommt also immer mehr darauf an, Produkte mit hoher Usability zu gestalten, um den Wünschen der Kunden entgegenzukommen.

Usability stellt ein Qualitätsmerkmal eines technischen Systems dar. Sie resultiert aus der Gestaltung nach Erkenntnissen der Ergonomie, was wiederum eine eigenständige Disziplin ist.
Die erste Definition des Begriffs Usability wurde im Jahr 1984 von Eason aufgestellt. Usability wird hier gesehen als Differenz zwischen der potentiellen Nützlichkeit eines Systems und dem Grad, zu dem Nutzer in der Lage und willens sind, dieses System auch zu nutzen. In dieser Definition wird ausgegangen von einem soziotechnischen System, welches aus Hardware, Software und einem technischen Support in Form von menschlicher Unterstützung besteht.


Exkurs: Normen
Interessant zu wissen ist hierbei auch, dass es sogar eine Norm gibt, die festhält, wie die Gestaltung von Usability auszusehen hat. Normen werden auf drei verschiedenen Ebenen erstellt:

  • ISO/IEC auf internationaler Ebene
  • CEN/CENELEC auf europäischer Ebene
  • DIN (Deutsches Institut für Normung e.V.) auf nationaler Ebene

Das Ziel von Normenbildung besteht darin, die Verständigung in Wirtschaft, Wissenschaft und öffentlichen Bereichen zu vereinfachen, sowie zur Qualitätssicherung beizutragen. Dies geschieht durch Einigung auf eine gemeinsame Version von Inhalten bezüglich der verschiedensten Themen, z.B. auch des Themas Usability.

Für mehr Information zu diesem Thema, welches hier eher einen Exkurs darstellt, empfiehlt es sich auf der Seite http://www.din.de/de/ueber-normen-und-standards/din-norm noch einmal genauer nachzulesen.


Seit 1997 gibt es die internationale Normenreihe zur Gestaltung von Systemen mit hoher Usability. Diese trägt den Namen DIN EN ISO 9241 und besteht aus über 900 Teilen, von denen hier jedoch nur zwei relevant sind und im Folgenden vorgestellt werden.
In Teil 11 wird eine Definition von Gebrauchstauglichkeit abgegeben. Und zwar wird sie hier definiert als das „Ausmaß, in dem ein Produkt durch bestimmte Benutzer in einem bestimmten Nutzungskontext genutzt werden kann, um bestimmte Ziele effektiv, effizient und zufriedenstellend zu erreichen.“
Daraus ersichtlich ergeben sich 3 Komponenten, aus denen Usability besteht.
Die erste Komponente ist Effektivität, ein Maß, das die Genauigkeit und Vollständigkeit der Zielerreichung angibt.
Die zweite Komponente ist Effizienz, welche die Relation zwischen notwendigem Aufwand zur Zielerreichung und Effektivität widerspiegelt. Sie entspricht somit einem Kosten-Nutzen-Verhältnis.
Die dritte und letzte Komponente ist Zufriedenheit. Da dies ein subjektives Maß ist, ist es im Vergleich zu den anderen beiden Komponenten deutlich schwieriger, es zu erheben. Im Kontext der Definition von DIN wird Zufriedenheit betrachtet als Freiheit von Beeinträchtigungen und einer generell positiven Einstellung gegenüber der Systemnutzung.
Sehr wichtig zu beachten ist, dass Usability immer im Nutzungskontext beurteilt werden muss. Sie ist somit abhängig von dem Nutzer eines Systems, den gestellten Arbeitsaufgaben, den vorhandenen Arbeitsmitteln, sowie der physischen und sozialen Umgebung. Dieses Verhältnis und der gesamte
Anwendungsrahmen von Gebrauchstauglichkeit sind in der folgenden Abbildung noch einmal veranschaulicht:

Abbildung Anwendungsrahmen

 

 

 

 

 

 

Ein zweiter relevanter Teil der DIN EN ISO 9241 ist Teil Nummer 210. Er handelt von sogenanntem human-centered Design. Hierbei soll der Mensch beim Gestaltungsprozess von computer-basierten Systemen im Mittelpunkt stehen. Die Norm gibt Anforderungen und Empfehlungen für das http://publish.illinois.edu/digitalmaking/files/2015/02/human-c.jpegGelingen dieses Ansatzes. Prinzipen, nach denen vorgegangen werden soll sind beispielsweise, dass die Gestaltung auf dem Verständnis von sowohl Benutzer, als auch Arbeitsaufgaben und der Arbeitsumgebung liegt. Dies entspricht dem Nutzungskontext im zuvor vorgestellten Teil 11. Als weiteres wichtiges Prinzip wird genannt, dass der Benutzer an der gesamten Gestaltung und Entwicklung eines Systems teilhaben soll und dass die Gestaltung auf Basis von nutzungsorientierter Prüfung und Bewertung erfolgen soll.

Usability Evaluation

Der Begriff Usability wurde bis hierhin eingehend erläutert, als nächstes stellt sich die Aufgabe der Definition von Usability Evaluation. Evaluation an sich bezeichnet eine systematische und objektive Bewertung in jeglichem Kontext. Relevant für dieses Seminar ist die Bewertung der Usability von Denkwerkzeugen (technische Systeme). In diesem Bereich ergeben sich folgende konkrete Ziele:
Zunächst einmal sollen durch Usability Evaluation Gestaltungs- und Verbesserungsvorschläge gewonnen werden. Außerdem sollen Schwachstellen analysiert werden und es soll die Beurteilung eines, bzw. der Vergleich mehrerer Systeme hinsichtlich Leistung und Güte ermöglicht werden.

Man unterscheidet zwischen zwei verschiedenen Arten der Evaluation.
Die erste ist die formative Evaluation. Sie findet während oder sogar noch vor dem eigentlichen Designprozess statt und soll möglichst früh potentielle Usability-Probleme aufdecken und beheben können. Für ihre Durchführung werden typischerweise induktive Tests verwendet. Diese sind dadurch gekennzeichnet, dass sie in der tatsächlichen späteren Arbeitsumgebung durchgeführt werden.
Die zweite Art ist die summative Evaluation. Sie erfolgt an der Designprozess anschließend und dient der Bewertung der Gesamtqualität eines Systems, auch im Vergleich zu anderen Systemen. Die typische Testart hier sind deduktive Tests, die in Testlabors durchgeführt werden. Die dadurch erreichte Standardisierung macht den Vergleich zwischen mehreren Systemen möglich.

Je nach Stand der Entwicklung eines Systems kommen unterschiedliche Evaluationsmethoden zum Einsatz. Am Anfang stehen Anforderungsanalysen, abgelöst durch Inspektionsmethoden und schlussendlich folgen Usability-Tests.
In der Fachliteratur wird immer wieder darauf hingewiesen, dass es sehr wichtig ist schon zu Beginn Evaluationen durchzuführen, um schwerwiegende Fehler sofort zu entdecken und zu verhindern. Denn würden diese erst gegen Ende aufgedeckt werden, ist eine Behebung weitaus kostspieliger und mit mehr Aufwand verbunden.

Anforderungsanalysen

Ziel einer Anforderungsanalyse ist es, einen „Soll“-Zustand zu ermitteln und einen Systementwurf in einem sogenannten Lastenheft zu erstellen.
Das wird erreicht durch Fragen wie:
Was soll das System können? (Sowohl funktional, als auch nicht-funktional)
Wer sind die späteren Nutzer des Systems?
Was ist der Nutzen des Systems?
etc.
Zu beachten bei diesem Vorgehen ist, dass es von Experten durchgeführt wird und aus drei Schritten besteht. Der erste ist das Sammeln von Anforderungen, man könnte es auch als Brain-Storming bezeichnen. Im nächsten Schritt werden diese Anforderungen dann strukturiert und klassifiziert um dann im dritten Schritt validiert zu werden. Das bedeutet, dass überflüssige oder für das aktuelle Projekt nicht zutreffende Anforderungen wieder gestrichen werden.

Inspektionsmethoden

Die jüngste Form von Evaluationsmethoden im Bereich Usability sind Inspektionsmethoden. Auch hier sind typischerweise Experten am Werk und es findet vor allem formative Evaluation mit Hilfe von induktiven Tests an z.B. Prototypen statt. Dadurch können Gestaltungshinweise für spätere Programmversionen gewonnen werden.

In diesem Artikel sollen zwei Arten von Inspektionsmethoden genauer vorgestellt werden:

  • Heuristische Evaluation

Kurz gesagt besteht das Ziel dieser Methode darin, mit möglichst wenig Aufwand möglichst viele Usability-Probleme aufzudecken.
Dazu versuchen Experten sich in die Lage des späteren Nutzers hineinzuversetzen. Besonders wünschenswert ist es, dass diese Experten sowohl über Usability- als auch Domänenexpertise verfügen, da so deutlich mehr Usability-Probleme erkannt werden (60% Fehleraufdeckung vs. 41% bei nur Usabilityexpertise und 22% bei nur Dömanenexpertise).
Grundlage dieses Vorgehens bilden Heuristiken. Das sind Prinzipien, die auf bestimmte Problemkategorien hinweisen und bei der Identifizierung und Klassifikation von Problemen Unterstützung geben sollen, sowie eine Orientierungshilfe darstellen.
Um einige Beispiele zu nennen, es bestehen Heuristiken für

  • Aufgabenangemessenheit: alle zur Bearbeitung einer Aufgabe notwendigen Funktionen müssen vorhanden sein und zudem so gestaltet, dass sie den Nutzer unterstützen
  • Prozessangemessenheit: das System sollte dahingehend optimiert sein, reale Arbeitsaufgaben erfüllen zu können und außerdem auf die Erfahrung und Qualifikation des Nutzers abgestimmt sein.
  • Lernförderlichkeit: „learning-by-doing“-Prinzip sollte möglich sein, d.h. durch die Benutzung und das Ausprobieren des Systems wird sein Gebrauch erlernt
  • Joy of Use: Monotonie sollte vermieden werden und die Gestaltung zeitlos gehalten werden
  • Cognitive Walkthrough

Das Ziel dieser Methode besteht darin, Gebrauchstauglichkeit dahingehend sicherzustellen, dass auch einem unerfahrenen Benutzer ein schneller Wissenserwerb über die Funktionsmöglichkeiten eines Systems möglich sein soll (entspricht wie schon oben die Heuristik Lernförderlichkeit dem „learning-by-doing“-Prinzip).
Die hinter dieser Methode stehende Annahme geht davon aus, dass Nutzer exploratives Lernen gegenüber dem Lesen von Handbüchern bevorzugen.
Das Vorgehen erscheint zunächst etwas abstrakt. Experten überlegen sich zu jeder durch das System zu bearbeitende Aufgabe eine Ideallösung, d.h. eine genaue Handlungsabfolge zur Zielerreichung. Anschließend wird anhand von vier Fragen überprüft, ob diese Handlungsabfolge intuitiv auch von einem Laien umzusetzen wäre. Dabei werden Kenntnisse und Fähigkeiten der Zielbenutzer berücksichtigt. Falls dem nicht so ist wird eine Alternativlösung vorgeschlagen.
Dies stellt Optimierungshinweise für die Entwickler dar.

Im Vergleich zur Heuristischen Evaluation deckt diese Methode einen nicht so großen Bereich ab, sie zielt nur auf deren Dimension der Erlernbarkeit (Lernförderlichkeit) ab.

Usability Tests

Usability-Tests sind die wohl bekannteste Methode zur Untersuchung der Gebrauchstauglichkeit.

Allow_Users_FreedomDer große Unterschied zu Inspektionsmethoden ist zum einen, dass das Testobjekt hier tatsächlich ausgeführt, also getestet wird. Zusätzlich kommen hier anstelle von Experten auch die tatsächlichen späteren Nutzer zum Einsatz, man spricht in diesem Zusammenhang auch von User Tests.
Bei der Testdurchführung erfolgt meistens eine Beobachtung durch einen Experten, der sich so weit es geht im Hintergrund verhält und nur im Notfall Hilfestellung gibt.
Die Durchführung kann sowohl am Arbeitsplatz (induktiv), sowie in einem Testlabor (deduktiv) stattfinden.
Während früher eher „harte“ Maße (z.B. benötigte Zeit für Aufgabenbearbeitung und Fehlerquote) verwendet wurden, kommen heute vor allem eher „weiche“ Methoden, wie Verhaltensbeobachtung und subjektive Meinung zum Produkt zum Einsatz.

Es gibt verschieden Erhebungsmethoden, die gängigsten sind Videoaufzeichnungen und Expertenbeobachtung. Diese beiden Methoden können auch kombiniert vorkommen. Der Nachteil der Aufwändigkeit durch Videoaufzeichnungen lohnt in einigen Fällen durch die damit erzielte Detailgenauigkeit, wiederholter Anschauungsmöglichkeit und nachträgliche Zeitmessungsmöglichkeit.
Ferner kommen auch Eye-Tracking-Verfahren zur Aufmerksamkeitsanalyse zum Einsatz, sowie Eingabeprotokolle (eigene Softwaresysteme), in denen alle Eingaben des Nutzers in den Computer und seine Mausbewegungen beim Testen aufgezeichnet werden.
Nach dem eigentlichen Test kann man noch durch Fragebögen und Interviews die Meinung der Probanden erheben oder mit diesem gemeinsam seine Videoaufzeichnung durchgehen und sein Verhalten besprechen.

Ein hier explizit vorgestellter Usability-Test ist die Methode des Thinking Aloud:

Hierbei werden während dem Testen bewusste,
handlungsbegleitende http://www.trans4mgt.com/wp-content/uploads/2013/10/thinking_aloud.jpgKognitionen und Emotionen erfasst. Das bedeutet, dass die Versuchspersonen bei der Aufgabenbewältigung mit einem zu testenden System ihre dabei auftretenden Kognitionen verbalisieren und ihr eigenes Verhalten kommentieren sollen.

Der große Pluspunkt dieses Vorgehens besteht darin, dass schon wenige Testpersonen ausreichen (5-6) um hilfreiche und qualitative Information zu erhalten.
Jedoch findet hier keine Art der Performance-Messung (Fehlerquote, Zeit, … )statt. Außerdem stellt diese Herangehensweise eine Doppelbelastung dar, da zusätzlich zur Aufgabenbearbeitung auch noch laut gedacht werden muss. Dies und die Tatsache, dass die Situation für die Teilnehmer sehr ungewohnt ist führt oft dazu, dass die Aufgaben langsamer als normal bearbeitet werden und es immer wieder zu Unterbrechungen im Redefluss kommt, wodurch der Versuchsleiter den Proband mit Fragen wie „Was denken Sie gerade?“ zum Weitersprechen motivieren muss.
Deshalb gibt es bereits eine weiterentwickelte Version des Thinking Aloud.

Diese weiterentwickelte Methode namens Co-discovery sowie weitere Informationen zu dem umfangreichen Thema von Usability Tests wird in einem weiteren, bald folgenden Artikel noch ausführlicher vorgestellt.

 

Literatur:

Abbildungen:

Advertisements

4 Gedanken zu „Usability Evaluation

  1. Pingback: Der Usability-Testbericht | Denkwerkzeuge im Wissensmanagement

  2. Pingback: Suchmaschinen | Denkwerkzeuge im Wissensmanagement

  3. Pingback: Koordination | Denkwerkzeuge im Wissensmanagement

  4. Pingback: Design Thinking | Denkwerkzeuge im Wissensmanagement

Kommentar verfassen

Trage deine Daten unten ein oder klicke ein Icon um dich einzuloggen:

WordPress.com-Logo

Du kommentierst mit Deinem WordPress.com-Konto. Abmelden / Ändern )

Twitter-Bild

Du kommentierst mit Deinem Twitter-Konto. Abmelden / Ändern )

Facebook-Foto

Du kommentierst mit Deinem Facebook-Konto. Abmelden / Ändern )

Google+ Foto

Du kommentierst mit Deinem Google+-Konto. Abmelden / Ändern )

Verbinde mit %s