Prof. Dr. Michael Felderer ist Direktor des Instituts für Softwaretechnologie am Deutschen Zentrum für Luft- und Raumfahrt (DLR) sowie Professor an der Universität Köln. Er ist international ausgewiesener Experte für das Testen und die Qualitätssicherung softwarebasierter Systeme. Die Forschung von Prof. Felderer beschäftigt sich mit der Entwicklung effektiver und effizienter Test- und Qualitätssicherungsmethoden. Dabei spielen Methoden der Künstlichen Intelligenz eine herausragende Rolle. Darüber hinaus ist Michael Felderer insbesondere an der Entwicklung von Qualitätssicherungsansätzen für modernste Softwaretechnologien wie Autonome Systeme oder Quantum Computing Systeme interessiert. Prof. Felderer berät mit seinem Know-How und seiner langjährigen Erfahrung auch Firmen und ist regelmäßiger Sprecher auf Konferenzen.
Michael Felderer auf LinkedIn
DLR-Institut für Softwaretechnologie
Wo stehen wir heute beim Testen mit KI?
Um dem Thema hier seine philosophische Dimension zu nehmen, möchte ich nicht von „KI“ sprechen, sondern von „KI-Technologien“, also von Werkzeugen die Menschen durch die Imitation menschlicher Fähigkeiten wie dem logischen Schließen, Lernen, Planen und der Kreativität unterstützen. KI-Technologien und damit auch deren Einsatzmöglichkeiten beim Testen entwickeln sich ständig weiter. Ein früher Ansatz war es, Systeme durch Wissensdatenbanken zu modellieren. Daraus kann man durch modellbasiertes Testen Testfälle generieren und damit das Testdesign automatisieren. Ein weiterer Ansatz zur intelligenten Automatisierung der Testfallgenerierung ist das „Search-based Testing“, das auf metaheuristischer Suchverfahren wie genetischen Algorithmen basiert. Mit maschinellen Lernverfahren haben wir etwa vor kurzem erfolgreich Fehlermeldungen klassifiziert und Root-Causes identifiziert, also die Testevaluierung (teil-)automatisiert. Das jüngste Glied in dieser Kette sind Large Language Models und die darauf basierenden generativen KI-Technologien. Mit diesen können nicht nur Testartefakte wie Testfälle, Testdaten oder Fehlerberichte generiert werden, sondern der gesamte Testprozess kann von den neuen Interaktionsmöglichkeiten zwischen dem Menschen und der KI-Technologie profitieren.
Was ich als Wissenschaftler, der eng mit der Industrie zusammenarbeitet, schon seit mehr als 20 Jahren beobachte, ist der Umstand, dass der praktische Einsatz von KI-Technologien im Testen den Erkenntnissen aus der Software-Engineering-Forschung immer deutlich hinterherhinkt. Mit Large Language Models sehe ich neue Chancen, dass Forschung und Praxis enger zusammenrücken: denn neue Testansätze aus der Forschung könnten über Generative KI-Technologien rascher und mit weniger technischem und kognitiven Overhead als bisher Testern in der Praxis zur Verfügung bereitgestellt werden. Der Einsatz von Large Language Models im Testen wirft aber selbst auch neue Probleme auf, etwa bezüglich deren Erklärbarkeit und Zuverlässigkeit, wo es eine Zusammenarbeit zwischen Forschung und Praxis benötigt, um diese zufriedenstellend beantworten zu können. Ich freue mich, es bleibt spannend!
Wie wird KI Softwaretesten in den kommenden fünf Jahren verändern?
KI-Technologien, insbesondere getrieben durch neue Generative KI-Technologien, werden in den kommenden Jahren einen wichtigen Beitrag zur Weiterentwicklung des Softwaretesten leisten. Es gibt neue Potentiale etwa für die Generierung von Testartefakten wie Testfälle, Testdaten oder Fehlerberichte sowie neue Interaktionsmöglichkeiten zwischen Mensch und KI-Technologie. Je nach Anwendungsdomäne und -kontext wird der Einfluss von KI-Technologien – wie bei anderen Technologien auch – aber unterschiedlich stark ausfallen bzw. sich unterschiedlich schnell auswirken.
Als Software-Engineering-Forscher hoffe ich, dass neue Testansätze aus der Forschung über Generative KI-Technologien rascher und mit weniger technischem und kognitiven Overhead als bisher Testern in der Praxis zur Verfügung gestellt werden können, um damit die Effektivität und Effizienz des Testens weiter zu verbessern. (Generative) KI-Technologien führen aber auch zu neuen Herausforderungen, etwa bezüglich deren Erklärbarkeit und Zuverlässigkeit. Dies erfordert die Entwicklung neuer Qualitätssicherungsansätze für die KI-Technologien selbst. Das heißt, KI-Technologien werden nicht nur die Aktivität des Testens selbst verändern, sondern erfordern auch die Entwicklung neuer Qualitätssicherungstechniken für diese KI-Technologien.
Welche Skills benötigen Testerinnen und Tester dafür?
Die Bedeutung von KI-Technologien im Testen nimmt stetig zu: zum einen unterstützen immer mehr KI-Technologien den Testprozess, zum anderen werden immer mehr softwarebasierte Systeme getestet, welche KI-Komponenten beinhalten. Deshalb ist es wichtig, dass Tester KI-Technologien verstehen und anwenden können. Vor diesem Hintergrund und der bereits erwähnten Lücke zwischen dem praktische Einsatz von KI-Technologien im Testen dem Erkenntnisstand aus der Software-Engineering-Forschung, betrachte ich es als essentiell, dass Forschung und Praxis gemeinsam zukünftige Profile von Testern und entsprechende Trainingsformate erarbeitet.
Wird es die Rolle des Testens in 10 Jahren noch geben?
Softwaresysteme (und dazu zähle ich auch Systeme, welche auf Künstlicher Intelligenz basieren) werden entwickelt, um Anwendungsfälle zu (teil-)automatisieren, die letztlich menschlichen Bedürfnissen, also Anforderungen im weitesten Sinne, dienen. Dies gilt etwa auch für Softwaresysteme zur Steuerung von Satelliten im Weltraum, wo man denken könnte, diese sind autonom und vom Menschen isoliert. Vor diesem Hintergrund wird es auch in zehn Jahren noch menschliche Tester benötigen, welche Anforderungen – die immer einen Bezug zum Menschen haben und in letzter Instanz nur von Menschen abgenommen werden können – prüfen: Was einem stetigen Wandel unterliegt sind die zu prüfenden Anforderungen, der Prozess des Testens sowie die Werkzeuge, die dafür eingesetzt werden – die Rolle des Testers wird es aber in 10 Jahren noch geben und deren Bedeutung wird vielleicht sogar noch zunehmen. Denn es werden auch neue Formen der Qualitätssicherung benötigt sowohl für KI-generierte Artefakte als auch die Prozesse dieser KI-basierten Generierung.