Nils Röttger hat bereits mehr als 15 Jahre Erfahrung im Bereich Qualitätssicherung. Bereits im Studium an der Uni Göttingen beschäftigte er sich mit dem Softwaretest. Seit 2008 arbeitet er bei der imbus AG in Möhrendorf, aktuell als Senior Berater und Projektleiter für Bereiche Mobile-Testing und AI-Testing. In seinen vielen Vorträgen auf Konferenzen und als Autor von Büchern oder Fachartikeln beschäftigt er sich immer wieder mit innovativen Themen rund ums Testen.
Wo stehen wir heute beim Testen mit KI?
Von meinem Gefühl her stehen wir kurz vor einem Tal der Tränen. Was ist das bzw. was verbirgt sich hinter dem Begriff: Der Begriff kommt aus dem Gartner Hype Cycle. Eine neue Technologie zeigt erste Erfolge und wird vielerorts gehyped. Alle reden darüber und machen auch was mit ihr. Wer nicht mitmacht, wird verlieren und abgehängt. So nimmt der Hype seinen Lauf. Danach folgt das Tal der Tränen, bevor die neue Technologie dann endlich produktiv und mit viel Erfolg eingesetzt wird. Wenn ich mit Kolleg:innen darüber spreche, nenne ich gerne den 3D-Druck als Beispiel. Was war das für ein Hype damals. Dann hat man kaum noch etwas davon gehört und heute gibt es in der Industrie etliche 3D-Drucker, die produktiv und mit viel Erfolg eingesetzt werden.
Zurück zum Testen. Es gibt einige Tools, die KI im Bauch haben (sollen). Ich selbst habe in den Projekten allerdings noch nicht so viele davon gesehen. Vorstellen kann ich mir das sehr gut in der Testautomatisierung. Bei Bilderkennung ist eine KI schon in letztem Jahrzehnt recht gut gewesen. Oder automatisches anpassen eines XPath – auch das kann ich mir vorstellen, habe es aber noch nicht live gesehen. In manchen Projekten wird ein LLM eingesetzt, um erste Testideen aufs Papier zu bringen. Aber die sind zunächst auch erstmal nur das, erste Ideen. Wir Tester müssen noch lernen, die KI an der richtigen Stelle und auf die richtige Art und Weise einzusetzen. In einigen unserer Projekte bei imbus haben uns LLMs bei explorativen Testsessions sehr geholfen. Und es wird nach und nach weitere solcher positiven Beispiele geben.
Wie wird KI Softwaretesten in den kommenden fünf Jahren verändern?
Ich denke, dass uns KI bei der Programmierung in der Testautomatisierung unterstützen wird. Das funktioniert ja bereits heute in der reinen Entwicklung. Vielleicht hilft uns eine KI auch bei der Testfallplanung. Wann sollte ich welche Regressionstests laufen lassen? Was macht zu dem jetzigen Projektzeitpunkt Sinn? Mit ChatGPT und anderen LLMs gibt es natürlich auch die Hoffnung, dass wir aus Anforderungen Testfälle ableiten, dann vernünftige Testfallschritte erstellen und schließlich nach dem automatisierten Lauf eines durch KI erstellten Automatisierungsskriptes die Ergebnisse und Fehlerreports in vernünftiger deutscher Sprache in unser Fehlerticketsystem eintragen können. Waoh!
Im Hintergrund werkeln dann noch andere KIs, die verhindern das ein Testfall zweimal erstellt wird oder dass ein Testschritt, der schon einmal für die Testautomatisierung programmiert wurde, nicht dupliziert wird. Unsere Test-Suiten würden explodieren. Aber da ist noch einiges zu tun, zumal wir vermutlich viele unserer Daten nicht einfach in die großen KIs der Welt einspeisen dürfen, sondern mit dedizierten kleineren KIs in unserer Unternehmens-IT klarkommen müssen.
Welche Skills benötigen Testerinnen und Tester dafür?
Zunächst einmal wird das Expertenwissen für die jeweilige Domäne sehr wichtig werden. Für uns Tester also das Wissen rund um Testen. Wie funktioniert eine gute Grenzwertanalyse? Wie muss ich ein Testautomatisierungsframework aufbauen, um es sehr gut warten und pflegen zu können? Das sind exemplarisch Fragen, die wir auch in Zukunft beantworten müssen. KI wird unsere Arbeit aber effizienter machen und uns die einfachen Aufgaben abnehmen. Wir müssen unser Expertenwissen also ausbauen. Sicherlich müssen wir auch verstehen, wie KIs arbeiten und ihre Ergebnisse erzielen. Nur dann können wir bewerten, ob das, was die KI uns vorschlägt, aber auch wirklich gut ist.
Wir müssen unser Wissen rund ums Testen also weiter vertiefen, grundlegende bis vertiefte Kenntnisse über KI haben und Fachwissen in der jeweiligen Fachdomäne aufbauen, in der wir uns mit unserem Projekt bewegen.
Wird es die Rolle des Testens in 10 Jahren noch geben?
Auf jeden Fall. Sie wird sogar noch wichtiger werden. Sie wird sich aber verändern! Wir werden vermutlich nicht mehr etliche Testfälle manuell in unserem Tool erstellen und dann einzeln automatisieren. Das und ähnliche einfache Arbeiten wird uns die KI abnehmen.