QF-Test  –  Das GUI Testtool für Java und Web

Evaluationsbewertungen Neben diesen Evaluationsbewertungen finden Sie weitere Empfehlungen auf unserer Seite Empfehlungen. Desweitern sind Evaluationsberichte und Fallstudien zu QF-Test verfügbar. Eine Checkliste unterstützt bei eigenen Bewertungen.

Nancy Knettell, CEO, Signet Medical Systems, Merrimac, MA, United States:

I have evaluated several tools. As a tools engineer for close to 20 years I have used many of the test tools out there. I found QF-Test because it was the only tool I could get to successfully test a Java based GUI application. After testing more than half a dozen tools with no success, I was faced with having to tell my customer that I could not find a tool that would work with their application.

Boy was I relieved when I found that QF-Test did work. It saved the project for me. That is why I recommended this company purchase the tool. I am well aware of QFS' wonderful support and have used it many times.

Alexander Beisig, SiteOS AG, München, Deutschland:

Dass wir uns für QF-Test entschieden haben, liegt wahrscheinlich an mehreren Gründen:

	Lizenzmodell: Da wir keine festen Testentwickler haben, ist die Floating-Lizenz ein großer Vorteil.
	Stabilität der Anwendung: Ich war von der Stabilität der Anwendung beeindruckt. Bei anderen Testframeworks war das leider nicht immer so.
	Wiederholbarkeit der Tests: Mit QF-Test hatte ich wenig Probleme, die Tests so zu schreiben, dass sie auch zuverlässig immer das gleiche Ergebnis liefern.
	Swing: Dass QF-Test selbst in Swing entwickelt wurde und Swing wohl auch die erste unterstützte GUI-Technologie war, war für uns ebenfalls ein wichtiger Aspekt.

Turgut Dogan, Consultant und Project Manager bei der Netcetera AG, Zürich, Schweiz:

Evita AG entwickelt und vertreibt das Gesundheitsdossier Evita, welches in einem mehrmonatigen Pilotversuch im Kanton Luzern durch Patienten und Ärzte intensiv erprobt und weiterentwickelt wurde. Da Qualität eine entscheidende Rolle spielt, setzt Evita bei der Qualitätssicherung QF-Test zur Testautomatisierung ein. Zu Beginn des Projektes übernahm Netcetera die Evaluation eines geeigneten Testtools sowie das POC für die Testautomatisierung. Nach dem erfolgreichen POC mittels QF-Test erfolgte in Schulungen sowie durch Coaching der Know-How Transfer zur Umsetzung des Qualitätskonzeptes an die Kundin. Kundenvorteile konnten durch die Sicherung der Produktqualität, einer Effizienzsteigerung durch Testautomatisierung sowie der raschen Realisierung des Qualitätskonzeptes mittels QF-Test erzielt werden.

Insbesondere konnte sich QF-Test durch eine robuste Komponentenerkennung, die leichte und effiziente Erstellung von parametrisierbaren Prozeduren, einer einfachen und intuitiven Bedienung, der Einbettung in einen Continuous-Build sowie der Erstellung von konfigurierbaren Reports gegenüber anderen Testtools durchsetzen.

Daniel Böhm, Technik/Entwicklung, WOW! Würth Online World GmbH, Künzelsau, Deutschland:

Ein besonderes Lob an den Support! Ich habe es während einer Evaluation noch nie erlebt, dass ein Support so schnell und hervorragend Probleme löst.

Pece Stanoev, Java developer, Skopje, Macedonia:

From my experience with QF-Test I find it to be very useful tool for automatic testing. Here are the pros from my perspective:

	Generally easy to use, small learning curve for novice users
	Expert functions
	Great event recorder
	The tree view for the test suite, tests and all commands and checks is AMAZING (give my regards to the developer)
	Use of variables in anything
	The SUT Scripts
	Overall pretty stable tool
	Great report generation
	GREAT debugger and run log

I enjoined the use of QFS pretty much and I can say it is the best tool for automatic testing that I've tried.

Thanks for this great product, Kind regards, Pece

→ Klaus Berg, Senior Engineer, Siemens Corporate Technology, München, Deutschland:

Mit QF-Test kann GUI-Testen durchaus von einer "Pflichtübung" in Begeisterung umschlagen. Insbesondere die zuverlässige Komponentenerkennung und die Möglichkeit -- wenn es notwendig wird -- Jython oder Groovy-Skripte nahtlos in den ansonsten Event-getriebenen Testablauf zu integrieren, lassen die Vermutung aufkommen, dass es kaum Testszenarien gibt, die sich mit diesem Tool nicht realisieren lassen. Auch die Stabilität von QF-Test ist - verglichen mit Konkurrenten - ein hervorstechendes Merkmal: kein einziger Programmabsturz und keine "Hänger". Abrunden tut dieses äußerst positive Gesamtbild der - wie es ein anderer Kunde ausdrückt - schon "legendäre" Support, der seines gleichen sucht. (PDF Version mit mehr Details)

Andreas Jahn, Certified Tester Full Advanced, Kassenärztliche Bundesvereinigung (KBV), Berlin, Deutschland:

Aus der Menge der Anforderungen, die wir an evaluierte Tools gestellt haben,

	Zugriff auf nahezu alle Swing GUI-Komponenten
	Komponentenerkennung auf Objektebene in GUI- und Webapplikationen
	umfangreichen Ablaufsteuerung (Schleifen, Bedingungen, Fehlerbehandlung)
	sehr gute Unterstützung datengetriebener Tests
	sehr gute Testprotokollierung
	in vielen Bereichen intuitiv bedienbar / gute Dokumentation --> dadurch vergleichbar geringer Einarbeitungsaufwand

sind einige der Kriterien, durch die sich QF-Test im positiven Sinne von anderen Produkten unterscheidet.

QF-Test hat uns beim Testen von Webapplikationen bereits gute Dienste geleistet.
Unsere wenigen Probleme und Fragen zum Tool wurden vom QFS-Support sehr schnell geklärt.

Carl-Johan Fryxell, Tester, c1-setcon, München, Deutschland:

Ich bin durchaus sehr zufrieden mit QF-Test. Das Tool ist sehr intuitiv und einfach zu bedienen und ich konnte bis jetzt alles in unserer Swing Anwendung automatisieren. Die schnelle Reaktion auf meine Support Anfrage fand ich auch sehr positiv.

Dr. Angelika Blauth, mgm technology partners, München, Deutschland:

Wir haben bei der Evaluierung eines GUI-Test-Tools für unsere Eclipse/SWT basierte Anwendung auch Squish betrachtet. Dabei haben wir dieselben Tests für unsere Software mit beiden Tools durchgeführt.

Folgende Kriterien waren ausschlaggebend für QF-Test:

	Sehr übersichtliche Strukturierung der Tests.
	Die Arbeit ist für Anwender, die nicht so sehr in der Programmierung erfahren sind, leichter als mit Squish, da mehr Unterstützung und Benutzerführung enthalten ist. Das war ein wichtiger Punkt auch in Hinblick auf die Erstellung der Testfälle durch studentische Hilfskräfte. Auch die Dokumentation erschien uns ausführlicher.
	Sehr gute Komponentenerkennung: Dabei funktioniert insbesondere die Erkennung von Zeilen/Spalten einer Tabelle sehr gut.
	QF-Test ist sehr schnell. Es ist damit auch in ein paar Minuten möglich, einen komplexen Datenbestand in unserer Software zu erstellen.

Peter Füss, Centris AG, Solothurn, Schweiz:

Vielen Dank für ihre schnelle und kompetente Hilfe. Sowieso bin ich begeistert von ihrem Support. So etwas Gutes habe ich noch nicht erlebt.

Evgeny Baskakov, Staff Engineer, Excelsior LLC, Novosibirsk, Russland:

When selecting a GUI testing system, we had several crucial requirements:

	The most important one was the ease-of-use. QF-Test is definitely the winner among 15+ GUI testing tools we thoroughly evaluated.
	As we needed to test GUI applications running on our own JVM (Excelsior JET), we needed a testing tool implemented to the Java SE specification and cooperating flawlessly with any compliant JVM. To our pleasure, QF-Test works just fine with Excelsior JET, even though the tested Java applications are compiled into native code Windows/Linux executables.
	The ability to generate customizable reports with embedded screenshots was also a must requirement that QF-Test met.
	And last but not least, one of the factors that impacted our purchase decision was the excellent support service provided by QFS.

Tore Felix Munck, Lead Quality Assurance Specialist, SPT Group AS, Kjeller, Norwegen:

Frage 1: Haben Sie auch andere Tools evaluiert?

Ja, Rational Robot von IBM

Frage 2: Welche Kriterien waren entscheidend für die Entscheidung zu Gunsten von QF-Test?

	QF-Test ist sehr viel flexibler und einfacher zu benutzen als Rational Robot
	Die JAVA Komponentenerkennung funktioniert besser in QF-Test als in RR bei unserer Anwendung
	Plattformübergreifende Unterstützung (MS/Linux)

Torsten Rix, Student, Nettetal, Deutschland:

Das Tool ist sehr hilfreich, leicht zu bedienen und gut verständlich. Es genügt den Ansprüchen für das GUI Testen völlig. Es gab während der Demo keine Fehler oder sonstige unerwarteten Fehler (sog. Vorführeffekte) :-)

Jochen Fischer, VoiceObjects, Bergisch Gladbach, Deutschland:

Haben Sie mehrere Tools evaluiert?

Ja, unter anderem "Squish for Java" von Froglogic und "WindowTester SWT" von Instantiations. Ausschlaggebend für die Wahl von QF-Test waren

1. Unkomplizierte und intuitive Bedienung
2. Preis-Leistungs-Verhältnis
3. Verwendung von Jython als Skriptsprache

Da wir im Rahmen unserer Qualitätssicherung ebenfalls Jython, und in noch stärkerem Maße Python, für die Testautomatisierung verwenden, kam uns dieses Merkmal Ihrer Software sehr entgegen.

Markus Kneissl, DFS Deutsche Flugsicherung, Langen, Deutschland:

Wir haben es zuerst mit Borland (Segue) SilkTest probiert. Da sich jedoch nach einiger Zeit herausstellte, dass es keinen Suse Linux-Support gibt, und auch die Unterstützung von Borland mehr dem Verkauf als der Funktionalität gewidmet war, suchten wir nach einer Alternative. Ausschlaggebend für QFTest war der Suse Linux-Support, die Möglichkeit eigene Skripte einzubinden um dadurch auch ausgefallene Tests durchführen zu können, sowie die Angabe der Mess- und Ausführungszeiten im Report. Der Support ihrer Mitarbeiter war bis jetzt auch immer vorbildlich. -Vielen Dank!

Olga Faber, Brockmann-Consult, Geesthacht bei Hamburg, Deutschland

...ja, ich habe mehrere Tools evaluiert: Silk (Borland), WinRunner (Mercury), QA Wizard Pro und viele free Tools so wie Marathon, Pounder usw. Früher habe ich die Abbot Bibliothek benutzt.

Kriterien für die Wahl von QF-Test waren:

	übersichtlich, logisch, verständlich und leicht bedienbar
	gutes Preis-Leistungs-Verhältnis
	sehr gutes Handbuch
	sehr gute Kundenbetreuung
	deutsche Produktion

Marcel Duda, Scandpower PT, Hamburg, Deutschland:

Ich habe mich durch vier oder fünf verschiedene Tools durchgekämpft ;-). Die habe ich alle über Internet-Recherche gefunden.

	GUIdancer
	Rational Robot
	Window Tester Pro
	Squish for JAVA
	Marathon (OSS)

Alle haben ihre Vor- und Nachteile, wobei mir das Konzept (gui/agent/db) von GUIdancer recht gut gefallen hat. Letztendlich hat aber die Bedienerfreundlichkeit, Funktionsabdeckung und das einfache Aufsetzen von SUTs unter QF-Test den Ausschlag gegeben.

Besonders nett finde ich die intuitive Bedienung, die es erlaubt Test-Cases auch komplett über die GUI zu definieren ("zusammmen zu klicken"). Eine unserer Anforderungen ist nämlich, dass auch nicht Informatiker Test-Cases aufbauen können sollen. Da wäre ein kryptischer, womöglich nur mit Skripten zu realisierender Test-Case setup hinderlich.

Dorit Rieur, Senior QA Engineer, Schema LTD, Israel:

The main reason we chose QF-Test was its compliance with Java and NetBeans. I must say I have composed a set of tests and hardly need any support. The tool is intuitive, and the manual usually helps me. This is indeed a great tool to work with. We are saving lots of testing time using the automation scripts.

Matt Ezren, QA developer, Creditex, Inc., New York, USA:

In 2005, I evaluated about 10 tools for automated Java GUI testing. Our table models were very complex therefore for evaluation of the tools I designed few tests/criteria which dealt with cells' content and images. Neither of the tools could perform all tests. I contacted specialists from technical support, they either admitted that their tools could not do some specific tasks, or they tried to offer workarounds, which would be an option if I would not find a tool that "does it all."

When I evaluated QF-Test, then qftestJUI, it passed all my tests. Still I was a little bit hesitant because its scripting language was Jython, and learning a new language is a considerable effort, though an extensive array of standard nodes was very simple to use. Some of other tools had scripting language which I already knew; nevertheless eventually I made my mind and selected QF-Test reasoning that reliable performance was more important than my learning efforts.

Bojan Lozinsek, Projektmanager, Hermes Softlab, Maribor, Slowenien:

After evaluating a number of Java Swing test automation tools we found QF-Test to be the only one that managed to execute Java GUI tests on multiple platforms without platform dependency issues.

Let me add three sentences about your support: "This is what I call a response time! Great job! No wonder that your company is such a success :)."

Sean Kane, QA Manager, Intervoice, Dallas, USA:

This past year we looked at several test tools for eclipse. Your new eclipse support is far better than the competition. Keep the improvements coming. Your team has been very supportive when ever we have needed it. I wish you and your team continued success.

Benoit Lemarchand, Global Core Java Middleware Unit Manager, Amadeus, Frankreich:

As part of its offer, our company proposes a suite of products for airline IT named Altéa. Graphical interfaces use complex graphical components based on Java Swing and are deployed on several tens of thousands of workstations. Deployment is costly and time consuming thus it is primordial for us to ensure high level of quality. We have then conducted a study to find suitable test tool; 7 tools have been evaluated including QF-Test and the best known products.

QF-Test has been selected for following reasons:

	It has the most powerful and reliable components recognition of all products tested; contrary to multi-language test tools, QF-Test fully exploits Java Swing specificity for component recognition.
	Speed at which QF-Test is able to play a scenario is quite impressive; it allows on time delivery without sacrificing quality.
	It is the only tool to our knowledge that offers automated solution to pause regression during server exchanges.
	Jython scripting coupled with procedure feature allow us to create powerful procedures for our testers that have no development knowledge.
	Last but not least, QFS offered us very good level of support during evaluation (and after purchase).

Jörg Paelke, PPI AG, Hamburg, Deutschland:

Wir setzen QF-Test in mehreren Projekten sehr erfolgreich seit eineinhalb Jahren ein. Zum Teil haben die getesteten Applikationen bereits mehrere fachliche Erweiterungen (Releases) hinter sich.

Verallgemeinernd kann ich sagen, dass die Tests projektübergreifend stabil und bei entsprechender Modularisierung leicht wartbar sind. Wir sind durch den hohen Abdeckungsgrad der automatisierten Tests in der Lage, in kurzer Zeit Revisionstests durchzuführen.

Die Gründe, die uns zu QF-Test geführt haben, sind vor allem die Wartbarkeit durch Trennung von Komponenten und Events, die Testbarkeit komplexer Strukturen (z.B. JTree, JTable), gute Strukturierbarkeit der Testsuite (bei den sehr umfangreichen Applikationen) sowie die Möglichkeit der verteilten Entwicklung der Tests.

Dario Zanotti, Siemens S.p.A., Italien:

I performed a technical evaluation on a Linux machine, and I see that QF-Test is quite user friendly, versatile and environment independent.

When I had troubles, the answers from QFS were fast and centered on the problem. Documentation is useful and quite well organized.