Testautomatisierung und Return On Investment (ROI)
Schon ab dem dritten Testzyklus kann mit Testautomatisierung (z.B. mit QF-Test) eine positive Bilanz beim Testaufwand erreicht werden. Der individuell erreichte ROI kann natürlich immer variieren.
Bei agiler Software-Entwicklung wird der ROI wegen kürzerer Iterationszyklen, bestenfalls täglich oder sogar mehrmals täglich, schneller erreicht als bei klassischen Entwicklungs- und QA-Ansätzen.
Der initiale Aufwand ist ist beim automatisierten Testen zu Beginn höher als beim manuellen Testen.
Durch die aufeinander folgenden Entwicklungszyklen müssen immer mehr Funktionalitäten getestet werden. Der steigende Testaufwand ist nur mit Testautomatisierung zu beherrschen.
Im Laufe der Zeit entsteht eine große Basis an Tests und für eine maximale Testabdeckung werden bei neuen Features peu à peu weitere Tests aufgenommen.
Agile Softwareentwicklung hat viele Iterationen und deshalb ist Testautomatisierung eine Notwendigkeit - zusätzlich zu Unittests und stichpunktartigen manuellen Tests.
| Zeit vor Automatisierung | Zeit nach Automatisierung | Ersparnis | Zitat |
|---|---|---|---|
| 8 Wochen | 1 Woche | 87,5% | Sean Kane, Manager of Test Engineering, Intervoice Inc., Dallas, USA: Jetzt können wir die Anwendung in einer Woche testen - früher brauchte das acht Wochen. |
| 2 Wochen | 5 Tage | 50% | Gadi Goldbarg, Development Tools, QA Team Leader, Zend, Ramat Gan, Israel: QF-Test hat meine Test-Zyklen von plus/minus zwei Wochen auf fünf Tage (es ist noch nicht alles automatisiert) verkürzt. |
| 1 Tag | 3 Stunden | 62,5% | Denis Gauthier Software Integration, Thales Australia, Melbourne: Ich brauchte einen ganzen Tag um die Non-Regression-Tests zum Laufen zu Bringen. Das wurde jetzt auf drei Stunden reduziert (vollständige Fallstudie). |
| 1 Tag | unter 1 Stunde | 87,5% | Phil Cross, Lockheed Martin, Owego New York, USA: Regressions-Tests unserer Java-Anwendungen, die früher einen ganzen Tag benötigten, sind mit QF-Test in unter einer Stunde erledigt. |
| 7-8 Stunden | 1,5 Stunden | 80% | Heidi Klade, Logistik Pur Software GmbH, Koppl b. Salzburg, Österreich: Unsere Tests laufen 90 Minuten. Ich schätze, dass ein manueller Testdurchlauf 7-8 Stunden konzentrierte Arbeit kosten würde. |
| Reduktion um fast 50% | CertiCon, Prag, Tschechische Republik: In wenigen Monaten erreichten wir die Reduzierung der Testdurchführungszeit um fast 50%, indem wir Hunderte von zusätzlichen Testfällen hinzufügten. (vollständige Fallstudie). |
Die vollständigen Zitate finden Sie hier: Vorteile für Entscheider
Die drei rosa markierten Phasen des Testprozesses (im Bild links) Testfall Entwicklung, Testfall Ausführung und Pflege der Testfälle beeinflussen den Return on Investment bei der Automatisierung von Tests am meisten.
| Phase des Testprozesses | Manuelles Testen | Automatisiertes Testen |
|---|---|---|
| Testplanung | Die Testplanung umfasst das Planen der Tests und die Bereistellung der Testumgebung. Das ist beim manuellen und automatisierten Testen identisch | |
| Testfall Spezifikation | Bei manuellen und automatisierten Tests braucht man die Analyse und Beschreibung der Testfälle | |
| Entwicklung | Sie müssen beim manuellen Testen die Anweisungen für die Tester aufwändig erstellen, dass eine Konsistenz gewahrt bleiben kann. | Die Implementierung der Testfälle mit dem Testtool braucht Zeit, Geld und Ressourcen. Deshalb muss sich die Anfangsinvestiotn über die Testzyklen hinweg amortisieren. |
| Dokumentation | Beim manuellen Testen korreliert der Testplan mit den Testanweisungen. | Automatisiert ist die Dokumenation schnell aus den Testfällen generierbar. |
| Testfall Verwaltung | Bei der manuellen oder automatiserten Teststrategie müssen jeweils Dokumente verwaltet werden. | |
| Testausführung | Die Testausführung ist hier der große Kostentreiber, nämlich Hardwäre und Personal verursachen sie. Es sind auch Flüchtigkeitsfehler möglich. | Das Testtool ist hierbei sehr zuverlässig bei der Testausführung. Es nutzt die Hardware optimal aus. |
| Verwaltung der Ergebnisse | Manuell müssen die Ergebnisse per Hand eingetragen werden. | Automatisiert ist der Vorteil die automatische Reportgenerierung. Das beeinflusst die Qualität des Reports. |
| Pflege der Testfälle | Bei manuellen Tests würde man die Testanweisungen nur nach fundamentalen Änderungen anpassen. | Natürlich müssen die Testfälle im GUI angepasst wreden und das verursacht Wartungsaufwand. Jedoch ist der Vorteil eines Testtools, dass Sie diese in der graphischen Oberfläche nur einmal nachziehen müssen. Außerdem ist Modularisierung und eine gute Wiedererkennung der Komponeten möglich. |
