QF-Test ist in erster Linie ein Werkzeug, das GUI Tests erstellt und automatisiert auszuführt. Jedoch
ist es nicht immer möglich - oder wirtschaftlich - die Tests vollständig
zu automatisieren, deshalb gibt es in neben dem automatisierten Testen
auch manuelle Testfälle, die auszuführen sind. Eine der größten
Herausforderungen in Testprojekten ist die gemeinsame Aufbereitung der
automatisierten und manuellen Testergebnisse. Eine solche
gemeinsame Aufbereitung ist sehr nützlich, um einen Gesamtüberblick über
die Testausführung zu erhalten. QF-Test bietet nun die Möglichkeit
Ergebnisse von manuellen und auch von automatisierten Tests gemeinsam
anzuzeigen.
Die Schritte eines manuellen Tests müssen hierfür an einer bestimmten
Stelle definiert werden. Der ManualTestRunner von QF-Test
liefert hierfür eine Excel Datei. Diese Testsuite sowie eine
beispielhafte Excel Datei finden Sie im Verzeichnis
demo/manualtester im QF-Test Installationsverzeichnis.
Der Testdesigner muss nun die einzelnen Schritte des Tests in
der Excel Datei definieren, inklusive des erwarteten Ergebnisses. Nach
Ausführung des manuellen Tests von QF-Test aus, liefert QF-Test sowohl
das Protokoll als auch HTML-Report und zusätzlich noch eine neue
Excel Datei, die die entsprechenden Ergebnisse beinhaltet.
Für eine genauere Beschreibung siehe Abschnitt 29.2.
Der Dialog zur Testausführung, der ManualStepDialog, sieht wie folgt aus:
Der Titel des Dialoges beinhaltet den Namen des Testfalles. Die ersten zwei Textfelder
enthalten die Beschreibung des manuellen Schrittes sowie das erwartete
Ergebnis.
Nach Ausführung des Testschrittes muss der Tester nun angeben, ob dieser
erfolgreich war oder nicht. Falls der Testschritt nicht erfolgreich gewesen
sein sollte, so muss der Tester ein erhaltenes Ergebnis dokumentieren. Sie
können diesen Dialog auch für Ihre eigenen Ansätze verwenden, siehe Abschnitt 52.1.
Bitte führen Sie folgende Schritte auf dem System aus, wo Sie einen manuellen Test von QF-Test aus starten:
- Kopieren Sie die Excel Datei von
qftest-5.2.1/demo/manualtester/SampleTestDescription.xlsx
in ein projektspezifisches Verzeichnis. Wie empfehlen auf jedem Testsystem
den selben Pfad zu verwenden, vielleicht ein Netzlaufwerk.
- Kopieren Sie auch die Ausführungstestsuite von
qftest-5.2.1/demo/manualtester/ManualTestRunner.qft in
ein projektspezifisches Verzeichnis. Womöglich sollten Sie diese auch umbenennen.
- Öffnen Sie die Excel Datei und definieren Sie die Testschritte.
- Nachdem Sie die Änderungen der Excel Datei abgespeichert haben, müssen Sie die
Ausführungstestsuite öffnen und die globale Variable
testFile
anpassen, um die projektspezifische Excel Datei einzulesen.
- Schalten Sie den QF-Test Debugger aus. Dieser würde Sie nur während
der Ausführung der Tests behindern.
- Selektieren Sie nun den Testsuite Knoten und starten Sie die Testsuite
mittels des "Wiedergabe starten" Knopfes.
- QF-Test wird nun die Daten aus der Excel Datei einlesen und einen
Dialog mit dem ersten Testschritt anzeigen.
- Geben Sie das erhaltene Ergebnis ein und fahren Sie mit der
Ausführung der nächsten Schritte fort.
- Am Ende der Testausführung erzeugt QF-Test eine neue Excel Datei
mit den erhaltenen Ergebnissen. Sie können von QF-Test aus nun auch das QF-Test
Protokoll speichern oder den HTML Report erzeugen.
Bitte beachten Sie auch die Kommentare in der Ausführungstestsuite und in der
Excel Datei. Sie können dieses Konzept natürlich auch an Ihre eigenen
Anforderungen anpassen und sogar nur bestimmte Tests starten.
Die Excel Datei hat eine bestimmte Struktur, um einen manuellen Testfall so
flexibel wie möglich zu beschreiben. Hier folgt eine genauere Beschreibung der
einzelnen Spalten:
|
|
| Spalte |
Beschreibung |
| TestCase |
Ein eindeutiger Bezeichner für jeden Testfall. Wird kein
Bezeichner definiert, so ist der Schritt Teil des vorherigen Testfalles. |
| Type of Test |
Eine optionale Beschreibung des Types des Testfalles, z.B. funktionaler Test oder Benutzerfreundlichkeits-Test. |
| Comment |
Ein individueller Kommentar zu jedem Testfall. Dieser
Kommentar wird als Anmerkung im QF-Test Protokoll angezeigt. |
| Short Description |
Eine Kurzbeschreibung des Testfalles. |
| Step Description |
Eine genauere Beschreibung des manuellen Testschrittes. |
| Expected Result |
Eine Beschreibung des erwarteten Ergebnisses. |
|
|
| | Tabelle 29.1: Beschreibung der Excel Datei für die Testdefinition | |
Die Excel Datei, welche dann die Ergebnisse der manuellen Testausführung beinhaltet, hat noch zwei zusätzliche
Spalten:
|
|
| Spalte |
Beschreibung |
| Received Result |
Das Ergebnis, welches der Tester während der Testausführung
erhalten hat. Dieses Ergebnis muss gesetzt sein, wenn der Testfall fehl schlägt. |
| State |
Der Status des Testfalles: PASSED, FAILED, CANCELED bzw. SKIPPED. |
|
|
| | Tabelle 29.2: Beschreibung der Excel Datei für die Testergebnisse | |
Die Ausführungstestsuite ManualTestRunner.qft beinhaltet ein paar
globale Variablen, um die Ausführung zu steuern. Variablen, die hier
nicht aufgeführt werden, werden von der Testsuite intern genutzt und
sollten nicht verändert werden. Hier folgt eine Beschreibung
dieser Variablen:
|
|
| Globale Variable |
Beschreibung |
| testFile |
Der Pfad zur Excel Datei mit den Testschritten. |
| testSheet |
Der Tabellenblatt der Excel Datei, welche die Testschritte beinhaltet. |
| resultSheet |
Der Name des Tabellenblattes, in welches die Ergebnisse
geschrieben werden sollen. |
| tests |
Eine Liste von Tests, die ausgeführt werden sollen. Wenn Sie
diese Variable leer lassen, werden alle Tests aus der Excel Datei
ausgeführt. Falls Sie z.B. nur Test 5 und 6 ausführen wollen, dann können Sie
diese Variable auf 5,6 oder 5-6 setzen. Es ist sogar
möglich, Bereiche zu definieren - wie z.B. 1,3-5,7 um die Tests 1,
3, 4, 5 and 7, zu starten. |
| defaultState |
Der vorbelegte Status, wenn der Dialog erscheint. Er
kann entweder auf PASSED oder FAILED gesetzt werden. Jeder andere
Status wird auf FAILED konvertiert. |
| testCaseColumn |
Die Überschrift der Spalte für die Testfallnummer. |
| commentColumn |
Die Überschrift der Spalte für den Kommentar. |
| shortDescColumn |
Die Überschrift der Spalte für Kurzbeschreibung des Testschrittes. |
| stepDescColumn |
Die Überschrift der Spalte für die detaillierte Beschreibung
des Testschrittes. |
| expResultColumn |
Die Überschrift der Spalte für das erwartete Ergebnis. |
| recResultColumn |
Die Überschrift der Spalte für das erhaltene Ergebnis. |
| stateColumn |
Die Überschrift der Spalte für den Status des Testschrittes. |
|
|
| | Tabelle 29.3: Beschreibung der globalen Variablen in der ManualTestRunner Testsuite | |
Ausgeführte Testschritte können auf folgende Zustände gesetzt werden:
|
|
| Resultat |
Beschreibung |
| PASSED |
Der Testschritt war erfolgreich. |
| FAILED |
Der Testschritt war nicht erfolgreich. |
| CANCELED |
Der Testschritt wurde abgebrochen. |
| SKIPPED |
Der Testschritt wurde übersprungen. |
|
|
| | Tabelle 29.4: Mögliche Zustände der manuellen Testausführung | |
