Florian Fieber, wie wird sich Softwaretesten durch KI verändern?

Florian Fieber verantwortet als Chief Process Officer bei der TestSolutions GmbH neben dem Testprozessmanagement der gesamten Organisation auch den Schulungsbereich mit der “QualityDojo – TestSolutions Academy”.

Er ist seit knapp 20 Jahren im Bereich der Qualitätssicherung von Softwaresystemen tätig und hat in dieser Zeit mehrere Trainings- und Beratungsunternehmen (mit-)gegründet. Seine Schwerpunkte als Berater und Trainer liegen im Testmanagement, Testprozessmanagement sowie der Testprozessverbesserung. Nach dem Studium der Medieninformatik sowie Information Systems arbeitete er zunächst als Softwareentwickler für Enterprise-Anwendungen sowie als wissenschaftlicher Mitarbeiter an der Berliner Hochschule für Technik. Seine Schwerpunkte entwickelten sich seitdem von der Testanalyse über die Testautomatisierung zum Testmanagement und der Prozessverbesserung und umfassen heute alle qualitätssichernden Aspekte im gesamten Softwarelebenszyklus.

Er ist seit 2018 Mitglied im German Testing Board e.V. (GTB) und engagiert sich dort u.a. als Leiter der Arbeitsgruppe Acceptance Testing und als stellvertretender Leiter der Arbeitsgruppe Glossar sowie in den Arbeitsgruppen Agile und Mobile. Von 2020 bis 2022 war er stellvertretender Vorsitzender und seit 2022 ist er Vorsitzender des GTB.

LinkedIn

Über diese Interview-Reihe

In den letzten Monaten habe ich auf Konferenzen und Fachgruppentreffen viele spannende Gespräche geführt über den aktuellen Stand und die kommenden Auswirkungen von KI auf Softwaretesten.

Ich habe mit vielen Expertinnen und Experten gesprochen und wir waren uns insbesondere darin einig, dass es sehr verschiedene Betrachtungsweisen auf das Thema gibt.

Aus diesen Diskussion ist eine kleine Interview-Reihe entstanden, bei der ich unterschiedlichen Menschen die vier gleichen Fragen zu dem Thema gestellt habe:

• Wo stehen wir heute beim Testen mit KI?
• Wie wird KI Softwaretesten in den kommenden fünf Jahren verändern?
• Welche Skills benötigen Testerinnen und Tester dafür?
• Wird es die Rolle des Testens in 10 Jahren noch geben?

Mein Dank gilt dabei den vielen Menschen, die ihre Erfahrungen und eigenen Sichtweise auf das Thema eingebracht haben:

An dieser Stelle möchte ich nun nicht noch zusätzlich meine persönliche Sichtweise ergänzen, sondern vielmehr eine umfangreiche Auswertung und Zusammenfassung der verschiedenen Interviews geben:

Wo stehen wir heute beim Testen mit KI?

Die Einschätzungen zum Stand des Testens mit KI sind gemischt. Einige sehen es noch in den Anfängen, während andere bereits Fortschritte beobachten. Es gibt Tools, die KI nutzen, doch die Akzeptanz und Anwendung sind noch begrenzt. Große Unternehmen wie Google sind Vorreiter. Die Entwicklung von AI-Coding-Tools und deren Einfluss auf das Testen wird diskutiert. Es herrscht Uneinigkeit über die Zuverlässigkeit von KI-Tests, das Vertrauen in KI ist noch gering. Forschung und Praxis müssen enger zusammenarbeiten. Die Herausforderungen durch KI, wie Erklärbarkeit und Zuverlässigkeit, werden betont.

Aktueller Stand des Testens mit KI:

• Einschätzungen reichen von „noch in den Kinderschuhen“ bis zu ersten erfolgreichen Anwendungen.
• Tools wie Katalon und diffblue werden genannt, aber die Nutzung von KI im Testen ist noch nicht weit verbreitet.
• Große Unternehmen wie Google setzen KI bereits ein und haben einen Vorsprung.
• AI-Coding-Tools wie GitHub Copilot beeinflussen das Testen und werden populärer.

Herausforderungen und Bedenken:

• Zweifel an der Qualität von KI-generierten Tests und deren Zuverlässigkeit.
• Vertrauensprobleme gegenüber KI-Tests, insbesondere bei der Testung von kritischen Systemen wie autonomem Fahren.
• Die Zusammenarbeit zwischen Forschung und Praxis ist entscheidend, um Herausforderungen wie Erklärbarkeit und Zuverlässigkeit zu bewältigen.

Potenzial und Zukunftsaussichten:

• Potenzial für Automatisierung und Optimierung des Testprozesses durch KI.
• Wachsender Einsatz von generativer KI und positivere Erfahrungen in der Softwareentwicklung.
• Erwartung, dass wir erst einen Bruchteil des Potenzials von KI nutzen und dass die Entwicklung von KI-Tests und -Anwendungen weiter voranschreiten wird.

Regulatorische Aspekte und gesellschaftliche Implikationen:

• Diskussion über regulatorische Anforderungen, insbesondere im Zusammenhang mit KI-Verordnungen.
• Betonung der Notwendigkeit, Risiken durch KI-Systeme zu minimieren und neue Methoden zur Bewertung und Gestaltung anzupassen.

Insgesamt gibt es eine Mischung aus Optimismus und Skepsis gegenüber dem Einsatz von KI im Softwaretest. Während einige Fortschritte sehen und das Potenzial erkennen, bleiben Bedenken hinsichtlich der Zuverlässigkeit und der regulatorischen Anforderungen bestehen. Die enge Zusammenarbeit zwischen Forschung, Industrie und Regulierungsbehörden ist entscheidend, um die Herausforderungen zu bewältigen und das volle Potenzial von KI im Testen auszuschöpfen.

Wie wird KI Softwaretesten in den kommenden fünf Jahren verändern?

In den kommenden fünf Jahren wird die Integration von Künstlicher Intelligenz (KI) in Softwaretesten stark zunehmen. KI-basierte Testing-Tools werden repetitive Aufgaben automatisieren, Tester unterstützen und neue Testansätze ermöglichen. Schwerpunkte liegen auf Testautomatisierung, Generierung von Testdaten und -artefakten sowie Unterstützung bei komplexen Testaufgaben. Herausforderungen umfassen die Erklärbarkeit und Zuverlässigkeit von KI-Technologien.

Integration von KI in Softwaretesten:

• Automatisierung repetitiver Aufgaben
• Verbesserung der Effizienz von Testern
• Erweiterung von Testansätzen

Testautomatisierung und Testdesign:

• Generierung von Testfällen und Testdaten
• Unterstützung bei explorativem Testen
• Einsatz von KI zur Testplanung und -ausführung

Herausforderungen und Qualitätssicherung:

• Erklärbarkeit und Zuverlässigkeit von KI-Technologien
• Entwicklung neuer Qualitätssicherungsansätze für KI
• Sicherstellung der Testqualität und -validität

Spezialisierung und Kompetenzerwerb:

• Aufbau von KI-Kompetenzen für Tester und umgekehrt
• Notwendigkeit spezialisierter Testexperten für KI-Systeme

Potenzial für neue Testverfahren:

• Einsatz von Akzeptanztestgetriebener Entwicklung und Assurance Cases
• Entwicklung von Standards für Hochrisiko-Anwendungen von KI

Gesamter Softwareentwicklungsprozess:

• Fundamentale Veränderungen durch KI über den gesamten Software-Lifecycle hinweg
• Einsatz von KI in Anforderungserhebung, Codegenerierung und Deployment

Zukünftige Trends und Realismus:

• Abnahme des Hypes um KI und Einzug von Realismus
• Weiterentwicklung von Assistenzsystemen und Vorhersagesystemen
• Potenzial für komplexe Testaufgaben und neue Tracing-Technologien

Insgesamt wird erwartet, dass KI das Softwaretesten in den kommenden Jahren grundlegend verändern wird, wobei sowohl Chancen als auch Herausforderungen zu berücksichtigen sind.

Welche Skills benötigen Testerinnen und Tester dafür?

Die Interviews ergaben, dass KI bereits den Softwareentwicklungsprozess beeinflusst und dies auch weiterhin tun wird. Testerinnen und Tester müssen sich auf neue Aufgaben vorbereiten, die durch KI entstehen, und dafür spezifische Fähigkeiten wie Prompt Engineering, Datenanalyse und Verständnis von ML-Algorithmen entwickeln. Ein verstärkter Fokus auf Systemverständnis, Sicherheit und Ethik wird erwartet. Zudem wird eine Verschmelzung von Entwickler- und Tester-Skills sowie eine verstärkte Zusammenarbeit mit Entwicklerteams notwendig sein.

Veränderung des Aufgabenspektrums:

• KI übernimmt repetitive Aufgaben, was Testerinnen und Testern ermöglicht, sich auf geschäftsorientiertere Probleme oder technisch komplexe Aufgaben zu konzentrieren.
• Mögliche Veränderungen der Rollen hin zu Data Quality Analysts oder Machine Learning Engineers werden erwartet.

Spezifische Skills für das Testen von KI:

• Grundlegende Kenntnisse über ML-Algorithmen und Datenstrukturen sind unerlässlich.
• Verständnis der Funktionsweise von KI-Systemen und deren Einfluss auf Teststrategien und -methoden.
• Fähigkeit zum „Prompt Engineering“ und zur Interpretation von KI-Ergebnissen.
• Sicherheitsaspekte und Ethik im Umgang mit KI-Systemen werden an Bedeutung gewinnen.

Verschmelzung von Entwickler- und Tester-Skills:

• Testerinnen und Tester müssen vermehrt Entscheidungen darüber treffen, welche Tests wirklich benötigt werden.
• Zusammenarbeit mit Entwicklerteams wird intensiviert, um KI-Systeme besser zu verstehen und zu steuern.

Anforderungen an das Testen von KI-Systemen:

• Fähigkeit zur Auswahl und Bewertung von Testdaten für das Training von KI-Systemen.
• Verständnis der Funktionsweise von KI-Tools und deren Grenzen für effizientes Testen.
• Bedeutung von Sicherheitstests und der Überprüfung von Ergebnissen wird hervorgehoben.

Entwicklung von neuen Denkweisen und Methoden:

• Shift-Left-Prinzip gewinnt an Bedeutung für effizientes Testen von KI-Systemen.
• Flexibilität und neue Ansätze für Sicherheitstests und Fairness von KI-Systemen sind erforderlich.
• Entwicklung von Frameworks und Methoden zur Systematisierung von KI-Audits und Tests.

Notwendigkeit eines breiten Skillsets:

• Pi-Shaped Skill Profile wird wichtiger, wobei Grundlagen des Testens und Programmierkenntnisse weiterhin relevant bleiben.
• Fähigkeit zur Auswahl und Integration von KI-Lösungen in Testprozesse wird betont.
• Wissen um den richtigen Einsatz von KI-Tools und die Analyse von Ergebnissen ist entscheidend.

Die Zusammenfassung zeigt, dass die Zukunft des Softwaretestens eng mit der Entwicklung und dem Einsatz von KI verbunden ist und Testerinnen und Tester sich auf neue Anforderungen und Arbeitsweisen einstellen müssen, um effektiv in diesem Bereich tätig zu sein.

Wird es die Rolle des Testens in 10 Jahren noch geben?

Die Mehrheit der Befragten ist sich einig, dass die Rolle des Testens auch in zehn Jahren bestehen wird. Die Art und Weise, wie getestet wird, sowie die benötigten Fähigkeiten, könnten sich jedoch stark verändern. Es wird erwartet, dass KI-gestützte Testverfahren zunehmend relevant werden, wobei menschliche Tester weiterhin eine wichtige Rolle bei der Qualitätssicherung spielen. Einige betonen die Notwendigkeit einer stärkeren Spezialisierung und Einbindung in politische Entscheidungsprozesse zur Entwicklung von Testverfahren, insbesondere für KI-Systeme.

Kontinuität der Testerrolle:

• Die Befragten sind sich einig, dass die Rolle des Testens auch in Zukunft relevant sein wird, wenn auch in veränderter Form.

Veränderungen in den Testmethoden:

• Es wird erwartet, dass sich die Testmethoden stark verändern werden, insbesondere durch verstärkten Einsatz von KI-gestützten Testverfahren und Automatisierung.
• Die Qualitätssicherung wird komplexer, da neue Technologien wie KI-Systeme eingebunden werden.

Spezialisierung und neue Fähigkeiten:

• Es wird betont, dass Tester sich stärker spezialisieren müssen und neue Fähigkeiten entwickeln müssen, um den Anforderungen gerecht zu werden.
• Eine größere Nähe zur Entwicklung und zum Business wird als wichtig erachtet, ebenso wie die Fähigkeit, kreative Ansätze und KI-gestützte Methoden zu nutzen.

Rolle in politischen Entscheidungsprozessen:

• Einige Teilnehmer fordern eine stärkere Einbindung der Test-Community in politische Entscheidungsprozesse, insbesondere in Bezug auf Normen und Standards für KI-Systeme.
• Die Expertise der Tester soll genutzt werden, um Testverfahren zu entwickeln, die den Anforderungen neuer Technologien gerecht werden.

Wandlungsfähigkeit der Testerrolle:

• Die Testerrolle wird als wandlungsfähig angesehen, ähnlich wie sie sich in den letzten zehn Jahren verändert hat. Es wird erwartet, dass sich Aufgaben, Umfang und Zeitpunkt der Qualitätssicherungsaufgaben stark verändern werden.

Die Antworten der Befragten zeigen eine konsistente Einschätzung, dass die Rolle des Testens in der Softwareentwicklung auch in Zukunft bestehen bleibt, allerdings in veränderter Form. Die Betonung liegt auf der Anpassung an neue Technologien wie Künstliche Intelligenz und verstärkter Automatisierung. Die Forderung nach Spezialisierung und Einbindung in politische Entscheidungsprozesse unterstreicht die Bedeutung der Testerrolle im Kontext des sich wandelnden Softwareumfelds. Insgesamt verdeutlichen die Antworten ein Bewusstsein für die Notwendigkeit einer agilen Anpassung und Weiterentwicklung der Testerrolle, um den zukünftigen Herausforderungen gerecht zu werden.