MATE-Modellbasiertes Akzeptanz-Testen

Software-Testen ist eines der Kernbereiche im Software Engineering und die zentrale Technik zur Qualitätssicherung in der industriellen Softwareentwicklung. Untersuchungen wie z.B. eine Studie der amerikanischen Regierung, die 2002 durchgeführt wurde, zeigen, dass das Potential für Verbesserungen im Testprozess enorm ist und bis zu 30% der gesamten Kosten des Test-Prozesses erreichen kann. In den letzten Jahren wurden im Bereich des Testens von Komponenten viele innovative Ansätze entwickelt. Beeinflusst durch die Ideen agiler Softwareentwicklung haben Konzepte wie Regressionstesten und strenge Trennung von Test-Code und System-Code den Weg in die Praxis gefunden. Außerdem war die Entwicklung von Ansätzen modellbasierter Tests ein wichtiger Schritt, einen höheren Abstraktionsgrad und eine enge Kopplung von Testfällen und Anforderungen zu erreichen. Auf der anderen Seite wurde Akzeptanztests lange Zeit manuell durchgeführt, z.B. durch den Kunden oder den Anwender des zu entwickelnden Systems. Akzeptanz- oder Systemtests werden allgemein als Black-Box Tests verstanden, die ein System vor der Auslieferung testen. Ergebnisse vieler Akzeptanz-Tests sind Testreports über das Verhalten des Systems, die durch den Tester per Hand erstellt werden. Im Zeitalter der inkrementellen Softwareentwicklung sind nicht-automatisierte Tests jedoch teuer und fehleranfällig. Deshalb gibt es derzeit bereits einige Werkzeuge auf dem Markt, die ausführbare Akzeptanz-Tests unterstützen. Eine der Herausforderungen für ausführbare Akzeptanz-Tests ist es, die Lücke zwischen der Beschreibung von Testfällen auf fachlicher Ebene und der Ausführbarkeit zu füllen. Werkzeuge für Akzeptanz-Tests müssen deshalb Konzepte anbieten, die es Kunden möglich macht, Testfälle zu beschreiben oder zumindest zu verstehen. Die Anwendung von Akzeptanz- Frameworks in der Praxis verläuft durchwegs erfolgreich, allerdings nutzen heutige Werkzeuge noch nicht das große Potential, das die Information in der Anforderungsspezifikation bietet. Das Ziel des MATE Projekts ist es, eine werkzeugunterstützte Methode für Akzeptanz-Tests zu entwickeln, die ausführbare Regressions-Tests unterstützt. Zusätzlich sollen die Akzeptanz-Tests aber auch eng mit der Anforderungsspezifikation verbunden sein und dadurch Potential für automatische Erzeugung von Testfällen und die werkzeugunterstützte Prüfung von Konsistenz- und Überdeckungs-Kriterien bieten. Das MATE Framework wird modellbasiert in dem Sinne sein, dass das zu testende System mit dem Modell der Anforderungen (dem so genannten System-Modell) und dem Test-Modell verbunden ist, wobei das Test-Modell die Testfälle in der Sprache der Modell-Elemente des System-Modells beschreibt. Testfälle werden auf fachlicher Ebene als beispielhafte Interaktionen (Szenarios) der Akteure mit dem System betrachtet. Die Haupt-Innovation des MATE- Ansatzes ist, dass er eine enge Kopplung zwischen der Anforderungsspezifikation und der Beschreibung von Testfällen unterstützt und dadurch den Weg für eine systematische Spezifikation, Qualitätssicherung und Generierung von Testfällen ebnet.

Das Ziel von Mate ist es, eine werkzeugunterstützte Methodologie für den modellbasierten Systemtest servicebasierter Systeme bereitzustellen. Mate koppelt auf der Modellebene Anforderungs- und Design-Artefakte eng an die Beschreibung von Testfällen, wodurch die exakte Spezifikation, Prüfung, Generierung und Ausführung von System- und Akzeptanztests für servicebasierte Systeme ermöglicht wird. Die Bereiche Modellbasiertes Testen (MBT) und Modellbasierte Softwareentwicklung (MBSE) wurden durch die Bereitstellung des Mate Ansatzes, in welchem Tests auf der Modellebene vor oder gemeinsam mit Systemmodellen spezifiziert werden, signifikant erweitert: Mate ergänzt modellbasierte Testansätze wie das UML Testing Profile (UTP) um tabellarische Testfallspezifikationen und testgetriebene Ansätze wie das Framework for Integrated Test (FIT) um die frühe, abstrakte und automatisiert verarbeitete modellbasierte Testspezifikation. Weiters unterstützt Mate das Testen von Sicherheitsanforderungen sowie die Verwaltung von Systemänderungen und das damit verbundene Regressionstesten. Der modellbasierte Testansatz für servicebasierte Systeme von Mate setzt die folgenden Schlüsselinnovationen um:Mate Methodologie für modellbasiertes Testen. In Mate werden Tests als separate Testmodelle, welche gegen das Anforderungs- und Systemmodell validiert werden können, dargestellt. Im Unterschied zu anderen Ansätzen kann Mate testgetrieben angewendet werden, d.h. die Testmodelle werden vor den Verhaltensmodellen des Systems erstellt und die Testergebnisse werden direkt im Testmodell dargestellt, was durch die Verfolgbarkeit zwischen allen Artefakten möglich ist. Die Methodologie basiert auf einem neuen Testprozess, der testgetrieben ist, Modelle validiert, Testmodelle direkt in ausführbaren Test-Code übersetzt und Testergebnisse in Testmodelle integriert.Mate Testwerkzeug. Die Mate Methodologie ist werkzeugbasiert. Das Mate Werkzeug implementiert eine domänenspezifische Sprache für Anforderungs-, System- und Testmodelle. Um die Qualität der Modelle zu gewährleisten, werden die Modelle mit der Object Constraint Language (OCL) validiert. Ein Testcodegenerator wandelt die Testmodelle in ausführbaren Test-Code um, welcher anschließend durch die Test Engine ausgeführt wird. Die Testergebnisse werden in Testberichten und annotiert an den Modellelementen dargestellt.Modellbasiertes Sicherheitstesten mit Mate. Mate wurde erfolgreich auf den Test funktionaler und nicht-funktionaler Sicherheitsanforderungen angewendet. Im Unterschied zu anderen modellbasierten Ansätzen für das Sicherheitstesten sind mit Mate sehr viele unterschiedliche Typen von Sicherheitsanforderungen testbar. Für den Test nicht-funktionaler Sicherheitsanforderungen werden risikobasierte Ansätze auf der Modellebene angewendet.Modellbasiertes Regressionstesten mit Mate. Mate unterstützt die zustandsbasierte Verwaltung von System- und Teständerungen, ihre Integration in den Testprozess und die Generierung von Regressionstests auf Basis von System- und Testzuständen. Die jeweilige Regressionsstrategie wird mit OCL Ausdrücken konfiguriert.Die Mate Methodologie und das zugehörige Werkzeug wurden in drei industriellen Fallstudien aus den Bereichen Telekommunikation, Gebäudeautomation sowie Gesundheitswesen evaluiert.