QF-Test vs. SilkTest vs. Squish vs. Marathon

Evaluationsergebnisse

Durchführung:

Olav Krapp und Matthias Besemer, SBE network solutions GmbH, Heilbronn

Getestete Produkte:

Borland SilkTest, Froglogic Squish, QFS QF-Test, Marathon Ergebnis: Gewählt wurde das Produkt QF-Test der Firma QFS.

Begründung:

Der Hauptgrund für die Entscheidung liegt in der Tatsache, dass QF-Test weit weniger entwicklerzentriert ist, als die anderen Produkte. Dennoch gewährt QF-Test die notwendige und auch hinreichende Flexibilität bei der Änderung von zu testenden GUI. Als weiterer entscheidender Vorteil ist bei QF-Test die übersichtliche Darstellung und nach einer (allerdings leicht erhöhten) Einstiegsschwelle auch intuitive Bedienung zu nennen. Die Darstellung der Testergebnisse sowie verfügbare Reports runden den Gesamteindruck positiv ab.

Vergleichsmatrix

Produkt	SilkTest	Squish	QF-Test	Marathon
Vorteile	einfache Unterstützung von Obfuscating Web-Testing bereits integriert Screenshots können einfach aufgezeichnet werden umfassende Integration in anforderungsbasiertes Testen / Testmanagement umfangreiche Tutorials, Dokumentation und Support	Komponenten-Picker für Verifikation usw. uneingeschränkte Unterstützung von Linux bei Tests auf entfernten Maschinen muss kein Benutzer angemeldet sein Verwendung von gebräuchlichen Skriptsprachen drei Runtime-Lizenzen in einer Benutzer-Lizenz enthalten umfangreiche Tutorials, Dokumentation und Support Web-Testing verfügbar (allerdings separate Edition, mit Mehrkosten verbunden)	nicht-entwicklerzentrierte Lösung* (aber dennoch sehr flexibel) modern anmutende und im Wesentlichen benutzerfreundliche Bedienoberfläche (sehr übersichtliche Darstellung der Testsuiten, Tests und sonstigen Artefakten) uneingeschränkte Unterstützung von Linux Abhängigkeiten zur Redundanzvermeidung Komponenten-Picker für Verifikation usw. einfache Unterstützung von Obfuscating Problemlose Ankopplung der SBE-Applikation Screenshots können einfach aufgezeichnet werden Reports für die Testergebnisse nicht-benutzergebundene Lizenz umfangreiche Tutorials, Dokumentation und Support	kostenlos offener Quelltext Komponenten-Picker für Verifikation usw. Problemlose Ankopplung der SBE-Applikation
Nachteile	entwicklerzentrierte Lösung* veraltet anmutende Bedienoberfläche, wenig intuitive Bedienung nur eingeschränkte Unterstützung von Linux (RedHat Enterprise) Ankopplung der SBEApplikation fehlerbehaftet Verwendung einer eigenen, proprietären Skriptsprache bei Tests auf entfernten Maschinen muss Benutzer angemeldet sein hoher Preis für die RuntimeLizenz nicht-benutzergebundene Lizenz mit Mehrkosten verbunden	entwicklerzentrierte Lösung* veraltet anmutende Bedienoberfläche, teilweise umständliche Bedienung (z.B. Erzwingung von Namenskonventionen für Testfälle u.ä.) Ankopplung der SBEApplikation fehlerbehaftet keine einfache Unterstützung von Obfuscating keine einfache Unterstützung von Screenshots im Fehlerfall umständliches Konzept der „Verification Points“ (keine Umbenennung möglich, Redundanz) Umbenennen symbolischer Komponentennamen sehr umständlich, manuelles Eingreifen notwendig begrenzte Integration in Testmanagement nicht-benutzergebundene Lizenz mit Mehrkosten verbunden	leicht erhöhte Einstiegsschwelle bei der Bedienung, Icons teilweise nicht sehr intuitiv Web-Testing derzeit noch nicht verfügbar (als separate Edition angekündigt, mit Mehrkosten verbunden) bei Tests auf entfernten Maschinen muss Benutzer angemeldet sein begrenzte Integration in Testmanagement	entwicklerzentrierte Lösung* Produkt offensichtlich nicht ausgereift / fehlerbehaftet Web-Testing nicht verfügbar Dokumentation und Support nicht auf gewünschtem Niveau

*Hinweis: Eine entwicklerzentrierte Lösung (hauptsächlich auf Skriptierung basierend) muss nicht zwangsläufig ein Nachteil sein, gesucht wurde jedoch ein Produkt, das möglichst auch von Personen ohne tiefgehende Programmierkenntnisse bedient werden kann.

Evaluation of GUI-test tools for Java Swing: QFS QF-Test, Borland SilkTest, Froglogic Squish and Marathon - November 2007, O. Krapp, M.Besemer, SBE network solutions GmbH, Heilbronn, Germany.

Evaluation von GUI-Testtools für Java Swing