Testautomatisierung & Return on Investment (ROI) | Wann automatisieren?

Wann sollte automatisiert werden?

Werden Regressionstests rein manuell durchgeführt, übersteigt der Aufwand für das Testen der bereits bestehenden Funktionalitäten (Qualitätssicherung) bei häufigen Änderungen den Aufwand der eigentlichen Programmierarbeit.

Neben Unittests durch die Entwickler und stichpunktartigen manuellen Tests bietet Testautomatsierung folgende Vorteile (für Tester und das Gesamtprojekt):

Konzentration auf neue/schwierige Testszenarien (Testarchitektur, Testfallerstellung und Verbesserung der Testqualität)
Keine langweiligen Routinetests
regelmäßige, häufigere, beliebig oft, schnellere, reproduzierbare, zuverlässige, weniger für menschlische Fehler anfällige Durchläufe (ohne extra Kosten, nachts, im batch-Modus ohne zusätzliche Lizenz- oder Personalkosten) um gerade bei immer größer werdenden Projekten schnell Rückmeldung über die Qualität zu erhalten (agiler Ansatz)

Tipps für Ihre Testautomatisierung

Wann amortisiert sich das Testtool?

Schaubild ROI - manuell vs. automatisiert

Der initiale Aufwand ist unterschiedlich, d.h. beim automatisierten Testen zu Beginn höher als beim manuellen Testen. Mit Testautomatisierung (z.B. durch QF-Test) kann schon ab dem dritten Testzyklus eine positive Bilanz beim Testaufwand erreicht werden, der individuell erreichte ROI kann natürlich variieren.

Bei agiler Software-Entwicklung wird der ROI wegen kürzerer Iterationszyklen (bestenfalls täglich) schneller erreicht als bei klassischen Entwicklungs- und QA-Ansätzen.

"Eine Stunde manuelles Testen ist in 1,5 bis 2 Stunden automatisiert." sagt Ralph van Roosmalen, QA Manager, Planon, Niederlande.

Automatisierte Tests und Return on Investment (ROI)

Steigenden Testaufwand bewältigen

Durch die aufeinander folgenden Entwicklungszyklen müssen immer mehr Funktionalitäten getestet werden. Der steigende Testaufwand ist nur mit Testautomatisierung zu beherrschen.

Agile Softwareentwicklung hat viele Iterationen und deshalb ist Testautomatisierung eine Notwendigkeit - zusätzlich zu Unittests.

Testaufwand beherrschen mit Automatisierung

Zeiteinsparung durch Automatisierung in der Praxis:
Beispiele von QF-Test Usern

Zeit vor Automatisierung	Zeit nach Automatisierung	Zitat
8 Wochen	1 Woche	Sean Kane, Manager of Test Engineering, Intervoice Inc., Dallas, USA: Jetzt können wir die Anwendung in einer Woche testen - früher brauchte das acht Wochen.
2 Wochen	5 Tage	Gadi Goldbarg, Development Tools, QA Team Leader, Zend, Ramat Gan, Israel: QF-Test hat meine Test-Zyklen von plus/minus zwei Wochen auf fünf Tage (es ist noch nicht alles automatisiert) verkürzt.
1 Tag	3 Stunden	Denis Gauthier Software Integration, Thales Australia, Melbourne: Ich brauchte einen ganzen Tag um die Non-Regression-Tests zum Laufen zu Bringen. Das wurde jetzt auf drei Stunden reduziert (vollständige Fallstudie).
1 Tag	unter 1 Stunde	Phil Cross, Lockheed Martin, Owego New York, USA: Regressions-Tests unserer Java-Anwendungen, die früher einen ganzen Tag benötigten, sind mit QF-Test in unter einer Stunde erledigt.
7-8 Stunden	1,5 Stunden	Heidi Klade, Logistik Pur Software GmbH, Koppl b. Salzburg, Österreich: Unsere Tests laufen 90 Minuten. Ich schätze, dass ein manueller Testdurchlauf 7-8 Stunden konzentrierte Arbeit kosten würde.
	Reduktion um fast 50%	CertiCon, Prag, Tschechische Republik: In wenigen Monaten erreichten wir die Reduzierung der Testdurchführungszeit um fast 50%, indem wir Hunderte von zusätzlichen Testfällen hinzufügten. (vollständige Fallstudie).

Die vollständigen Zitate finden Sie hier: Vorteile für Entscheider

Phasen des Testprozesses mit hohem Einfluss auf den ROI

Die drei rosa markierten Phasen des Testprozesses (im Bild links) Testfall Entwicklung, Testfall Ausführung und Pflege der Testfälle beeinflussen den Return on Investment bei der Automatisierung von Tests am meisten.

Testprozesse mit hohem Einfluss auf den ROI

Testfall Entwicklung

Die Implementierung der Testfälle mit dem Testtool braucht Zeit, Geld und Ressourcen. Deshalb muss sich diese Anfangsinvestition über die Testzyklen hinweg amortisieren. Wenn Sie aber manuell testen, müssten Sie hier die Anweisungen für die Tester aufwändig erstellen.

Testfall Ausführung

Im Vergleich zum manuellen Testen, das langsam ist und hohe Kosten für Hardware und Personal verursacht, ist automatisiertes Testen schnell und nutzt die Hardware optimal aus. Das Testtool ist hierbei sehr zuverlässig bei der Testdurchführung.

Pflege der Testfälle

Natürlich müssen die Testfälle an Änderungen im GUI angepasst werden (Wartung). Jedoch ist der Vorteil an QF-Test, dass Sie diese im GUI nur einmal nachziehen müssen. Außerdem ist Modularisierung und eine gute Wiedererkennung der Komponenten möglich. Bei manuellen Tests würde man die Anweisungen nur nach fundamentalen Änderungen anpassen.

Überzeugen Sie sich selbst:

Evaluationsberichte zum Nachlesen
Checkliste zur Überprüfung Ihrer Anforderungen und zum Vergleich mit anderen Tools
kostenlose Testlizenz, voll funktionsfähig, für 4 Wochen

berichten über Ihre
Erfahrung mit QF-Test

Test­automatisierung und Return On Investment (ROI)