Evaluierung der Testwerkzeuge 

Es sollte zunächst ein geeignetes Testwerkzeug zur Durchführung von GUITests ausgewählt werden. In diesem Zusammenhang werden im Folgenden die Anforderungen analysiert, um dann hinsichtlich der Testwerkzeuge eine Bewertung vorzunehmen. Nachdem ein geeignetes Testwerkzeug gewählt wurde, soll es bei der SIV.AG eingeführt werden. Dazu sind entsprechende Tests, die im kommenden Kapitel ausführlich erläutert werden, zu erstellen, auszuwerten und zu dokumentieren.

QF-Test vs. GUIdancer 

Nachdem eine Bewertung der Anforderungsanalyse vollzogen wurde, bleiben zwei Testwerkzeuge als mögliche Kandidaten übrig. Um herauszufinden, welches Testwerkzeug die konkreten Anforderungen am besten erfüllt, wurde auf der Grundlage der Anforderungen ein Spezifikations- und Bewertungsformular entwickelt. Damit die beiden Testwerkzeugkandidaten bewertet werden konnten, wurden sie zunächst in einer isolierten Testumgebung ausgiebig untersucht. Das Bewertungsformular enthält verschiedene Merkmale, die wiederum mehrere Anforderungen enthalten. Folgende Merkmale fließen in die Bewertung ein:

  • Einfachheit der Benutzung
  • Plattformunterstützung
  • Aufspüren von Fehlern
  • Funktionalität
  • Berichtsfähigkeit
  • Leistungs- und Belastungstest
  • Versionskontrolle
  • Planen und Verwalten
  • Preisgestaltung
  • Qualifikation des Anbieters
  • Dokumentation 

Mit 83% bzw. 912 von 1095 möglichen Punkten konnte sich QF-Test gegen den GUIdancer (67%, 737 von 1095 möglichen Punkten) durchsetzen. Ausschlaggebend für den Sieg war unter dem Strich das Gesamtpaket QF-Test. QF-Test zeichnet sich durch die Einfachheit in der Bedienung aus, wofür maßgeblich das intuitive Design verantwortlich ist. Auch können die Testskripte im Gegensatz zum GUIdancer sehr schnell und einfach aufgenommen werden. GUIdancer verfolgt diesbezüglich kein Capture-Verfahren, welches zwar den Vorteil hat, dass die Testfälle schon während der Spezifikationsphase entwickelt werden können, jedoch beansprucht GUIdancer’s Verfahren dafür extrem viel Zeit. Weiterhin ausschlaggebend war, dass Skriptsprachen in QFTest eingesetzt werden können. Für einfache Testfälle werden in der Regel keine Skriptsprachen benötigt, sind Testfälle allerdings sehr komplex, können Skriptsprachen dabei sehr hilfreich sein. Letztendlich überzeugte QF-Test bei der Funktionalität, Qualifikation und Dokumentation. Bezüglich der Anforderungen bei der Qualifikation, das heißt Ausgereiftheit des Produkts, Marktanteil des Produkts oder Kundenunterstützung wurde QF-Test durchweg mit sehr gut eingestuft.

Den kompletten Auszug des Evaluationsberichts zu QF-Test können Sie hier (PDF) lesen.

Master-Thesis: Untersuchungen zu automatisierbaren Testszenarien für User Interfaces von kaufmännischen Softwaresystemen - August 2011, Christian Froh, Hochschule Wismar, Deutschland.