zurück zum Artikel

Die Umfrage "Softwaretest in der Praxis" sollte ermitteln, welche agilen Methoden in den Entwicklungs- und Test-Alltag Einzug gehalten haben und was sich dadurch verändert hat beziehungsweise wie der Testalltag in den Unternehmen überhaupt aussieht.

Mit Trends im Bereich Qualitätssicherung und Testen wie Test-Driven Development oder grundsätzlich dem Einsatz agiler Vorgehensmodelle sind sowohl Chancen als auch Herausforderungen verbunden. Die Umfrage "Softwaretest in der Praxis" sollte ermitteln, welche agilen Methoden in den Entwicklungs- und Test-Alltag Einzug gehalten haben und was sich dadurch verändert hat beziehungsweise wie der Testalltag in den Unternehmen überhaupt aussieht.

Im Mai 2011 haben die Hochschulen Bremen und Bremerhaven, die Fachhochschule Köln, die ANECON Software Design und Beratung GmbH, das German Testing Board (GTB) und das Swiss Testing Board (STB) eine anonyme Online-Umfrage zum Thema "Softwaretest in der Praxis" im deutschsprachigen Raum durchgeführt. Der Befragung lagen drei rollenspezifische Fragebogen zugrunde. Ihr Ziel war einerseits die Ermittlung des aktuellen Stands der Qualitäts- und Testaktivitäten in der Praxis, andererseits sollte der Handlungsbedarf für Forschung, Ausbildung und Beratung im Testen analysiert werden.

Die Umfrage hatte regen Zuspruch, was die Aktualität und Wichtigkeit der Softwarequalitätssicherung unterstreicht. Über 1600 Personen haben die Umfrage begonnen und die Hälfte davon den umfangreichen Fragenkatalog mit bis zu 110 Fragen bis zum Ende durchgearbeitet. Die Teilnehmenden zeichnen sich aus durch eine gute Ausbildung und langjährige Berufserfahrungen. Unterschiedliche Rollen (Tester, Entwickler und Manager) wurden in der Umfrage zu unterschiedlichen Schwerpunkten befragt, die Antworten lassen dadurch rollenspezifische Sichtweisen zu.

Bei den Teilnehmenden gab es einen breiten Mix an Firmengrößen und Branchen mit einem leichten Schwerpunkt aus den Bereichen Automotive, Telekommunikation und Banken. Sowohl kleine und mittelständische als auch Großunternehmen haben an der Umfrage teilgenommen, wobei die mittelständischen (101 bis 1000 Mitarbeiter) etwas überwiegen. Die genaue Anzahl, Angaben zur Ausbildung und Berufserfahrung der Teilnehmenden und die Verteilung auf die Branchen, die Firmengröße et cetera stehen auf der Internet-Seite [1] der Umfrage zur Verfügung.

Die rollenspezifische Aufteilung des Fragebogens umfasste drei Gruppen:

1. Projektleiter, QS-Beauftragter, Testmanager und Tester (Gruppe Tester)
2. Business-Analyst, Entwickler, Betrieb & Support und andere (Gruppe Entwickler)
3. Executive und mittleres Management (Gruppe Management)

Die detaillierte Verteilung der Beteiligung ist Abbildung 1 zu entnehmen.

Agile Softwareentwicklung und Qualitätssicherung

Eine der ersten Fragen an alle Gruppen richtete sich nach dem eingesetzten Vorgehensmodell. Bei über der Hälfte (54 %) ist ein phasenorientiertes Modell im Einsatz. Knapp 29 Prozent gehen agil vor und circa 17 Prozent setzten zur Realisierung ihrer Software kein explizites Vorgehensmodell ein. Werden die Antworten nach den Rollen aufgeteilt, ergibt sich folgendes Bild: Management und Tester kommen eher aus der phasenorientierten Welt. Die Entwickler sind agil und bilden die größte Gruppe, wenn kein Vorgehensmodell Verwendung findet. (Siehe auch Abb. 2.)

Die Vermutung, dass eher die Medien- und Unterhaltungsbranche den Umstieg auf agile Softwareentwicklung vollzogen haben, lässt sich mit den Ergebnissen der Umfrage bestätigen. Mit 38 Prozent führt die Medienbranche die Liste der agilen Vorgehensweisen in den unterschiedlichen Branchen an. Wie zu erwarten bilden Rüstung und Verteidigung das Schlusslicht.

Wird betrachtet, welche Systeme agil entwickelt werden, sind Webapplikationen (36 %) und Webservices (35 %) erwartungsgemäß weit vorne. Immerhin werden Standard-, System- und Individual-Software zu über 30 Prozent agil entwickelt. Schlusslicht ist der Bereich Embedded Systems. Bei knappen 22 Prozent kommen hier agile Vorgehen zum Einsatz.

Hinsichtlich der Frage, ob die Firmengröße eine Rolle spielt, ob agil entwickelt wird, lautet die Antwort der Umfrage: ja – das war zu vermuten. Mit etwa 40 Prozent sind die Firmen mit maximal 100 Mitarbeitern agil, gefolgt von knappen 30 Prozent bei 101 bis 1000 Mitarbeitern. Zwischen 17 und 18 Prozent liegt der Anteil bei großen Unternehmen.

Auf die Frage, welche agilen Vorgehensweisen im Einsatz sind, weisen die Antworten mit Scrum (57 %) einen eindeutigen Favoriten auf. Erstaunlich ist, dass 27 Prozent nach einem eigenen agilen Modell die Softwareentwicklung durchführen. Alle weiteren agilen Ansätze (Feature Driven Development, eXtreme Programming, Kanban ...) liegen jeweils um die 5 Prozent und können vernachlässigt werden.

Verantwortung, Automatisierung

Verantwortung für Qualitätssicherung

Gibt es in den Unternehmen eine selbstständige Gruppe oder Abteilung, die für die Qualitätssicherung zuständig ist? Die Antworten zeigen, dass eine solche Gruppe durchaus auch weiterhin ihre Wichtigkeit hat. Bei 63 Prozent der agilen Projekte gibt es eine solche Einheit, bei 72 Prozent der phasenorientierten und immerhin noch bei über 50 Prozent der Projekte, die ohne ein Vorgehensmodell auskommen.

Interessante Ergebnisse ergab die Auswertung nach der Frage, wer sich für die Qualitätssicherung in den Projekten verantwortlich fühlt. Die phasenorientierten Projektbeteiligten sehen den Projektleiter (69 %) und den Testmanger (65 %) weit vorne. Entwickler sind nur mit knappen 30 Prozent in der Verantwortung. Bei den agilen Projekten ergibt sich ein anderes Bild. Projektmanager (55 %), Entwickler (51 %), Testmanager (49 %) und Tester (48 %) sind nahezu gleich verantwortlich für die Qualitätssicherung.

Einbindung des Kunden

Ein entscheidender Grundpfeiler agiler Projekte ist die direkte und projektbegleitende Beteiligung des Kunden oder späteren Anwenders der zu entwickelnden Software. Werden Kunde und Mitarbeiter der Fachabteilung an den Reviews beteiligt? Inwieweit sind sie beim Testen involviert? Sind sie bei den unterschiedlichen Teststufen und Testarten beteiligt? Werden sie bei der Erstellung der Testfälle gefragt? Die Abbildung 4 zeigt ein ernüchterndes Bild. In nahezu allen abgefragten Bereichen ist die Beteiligung des zukünftigen Anwenders und Kunden sowie die der Mitarbeiter aus den Fachabteilungen in den phasenorientierten Vorgehensweisen höher als bei den agilen. Selbst die Projekte ohne ein definiertes Vorgehen liegen in dem Punkt nicht viel schlechter.

Mit dem agilen Vorgehen haben viele neue Praktiken Einzug in die Softwareentwicklung gehalten. Storycards, Standup-Meetings, Retrospektive, testgetriebene Softwareentwicklung,um nur einige zu nennen. Eine der Fragen hat sich damit beschäftigt, ob diese Praktiken eine Bedeutung für die Qualitätssicherung haben. In Abbildung 5 sind die Antworten nach der Gruppe der Tester und der Gruppe der Entwickler aufgeschlüsselt. Alle sehen keine wirklich hohe Bedeutung der Praktiken, die Spitzenwerte liegen meist unter 60 Prozent. Selbst Praktiken wie die testgetriebene Softwareentwicklung oder das Pair Programming sehen die Teilnehmer an der Umfrage nicht unter dem Gesichtspunkt der Qualitätssicherung.

Testmethoden und Automatisierung

In der Umfrage wurde nach dem Einsatz von Testmethoden gefragt. Die Ausrichter haben dabei zwischen spezifikationsorientierten, strukturorientierten und erfahrungsbasierten Verfahren unterschieden. Es gab kaum signifikante Unterschiede beim Methodeneinsatz zwischen den agilen und den phasenorientierten
Vorgehen. Funktionstest, anwendungsfallbasierter Test und Grenzwertanalyse liegen bei den genutzten spezifikationsorientierten Verfahren zwischen 85 und 65 Prozent. Die strukturorientierten Verfahren kommen bedeutend weniger zum Einsatz. Um die 45 Prozent liegen Anweisungs- und Zweigüberdeckung. Bei den erfahrungsbasierten Vorgehen ist die intuitive Ermittlung der Testfälle weit vorn mit über 85 Prozent, gefolgt vom explorativen Test (ohne Nutzung einer Test-Charta). Hier gibt es einen Unterschied zwischen den agilen mit 70 und den phasenorientierten Projekten mit 84 Prozent. Freies Testen ohne Vorgaben und Ziele ist sehr beliebt.

Bei agilen Vorgehensweisen ist die automatisierte Durchführung aller Testfälle unabdingbare Voraussetzung, um bei den häufigen Iterationen die Qualität zu sichern. Zumindest ist das auf der Unit-Teststufe die empfohlene
Vorgehensweise. Wie sieht die Realität aus? Abbildung 6 zeigt den Grad der Automatisierung der jeweiligen Teststufen aufgeschlüsselt nach eingesetztem Vorgehensmodell. 43 Prozent der Unit-Tests sind bei den agilen Projekten vollständig automatisiert. Werden die 28 Prozent mit einem Grad der Automatisierung zwischen 70 und 85 Prozent hinzugekommen, wird ein Automatisierungsgrad von über 70 Prozent erreicht. Das ist zwar der höchste Grad der Automatisierung, sowohl im Vergleich zu den anderen Vorgehensweisen als auch zu den unterschiedlichen Teststufen, allerdings fehlen noch 30 Prozent (beziehungsweise 57 %) bis zur anzustrebenden vollständigen Automatisierung auf Unit-Ebene. Die Antworten zeigen deutlich, dass der Grad der Automatisierung abnimmt, je höher die Teststufe ist. Zwischen 37 und 44 Prozent führen den Abnahmetest ohne jegliche Werkzeugunterstützung durch.

Die Teilnehmenden der Umfrage wurden schließlich nach ihrer Einschätzung bezüglich der Effektivität ihrer Qualitätsmaßnahmen gefragt. Sie sollten angeben, wie viele schwerwiegende Fehler nach Auslieferung der Software beim Kunden auftreten. Abbildung 7 zeigt keine wirklichen Unterschiede zwischen den Vorgehensweisen. Mit einer Ausnahme: Wird ohne eine Modell entwickelt, treten bei 13 Prozent zu viele schwerwiegende Fehler beim Kunden auf, im Gegensatz zu den anderen beiden mit jeweils unter 3 Prozent.

Fazit

Fazit

Eine Bewertung der Ergebnisse der Umfrage kann und sollte von jedem selbst zur eigenen Standortbestimmung vorgenommen werden. Ein paar Punkte möchten die Autoren aber trotzdem zusammenfassen. Bei den Branchen, den Unternehmensgrößen und den durchgeführten Projekten und erstellten Systemen gab es keine Überraschungen. Kleine Unternehmen in der Medien- und Unterhaltungsbrache entwickeln
Webapplikationen agil, meist nach Scrum oder einem eigenen agilen Vorgehen.

Bei den agilen Projekten stößt man auf eine Gleichverteilung zwischen Projektmanager, Entwickler, Testmanager und Tester hinsichtlich der Verantwortung für die Qualitätssicherung. Erstaunlicherweise gibt bei den phasenorientiert durchgeführten Projekten der Entwickler diese Verantwortung an das Management ab. Bei den agilen ist somit eine gemeinschaftliche Verantwortung für die Qualität vorhanden, was sehr gut ist.

Bei der Kundenbeteiligung und der Integration der Fachabteilung ist Entwicklungspotenzial vorhanden. Hier liegen die agilen Projekte unvermuteterweise hinter den phasenorientierten. Ein ähnliches Bild ergibt sich bei den einzelnen Praktiken der agilen Vorgehensweise. Diese haben zwar einen gewissen Stellenwert, ihre Bedeutung für die Qualitätssicherung wird aber nicht oder nicht ausreichend genug gesehen. Ebenso sind bei der Automatisierung Verbesserungen möglich. Bis zur Umsetzung der 100-prozentigen Testfallausführung auf Knopfdruck ist noch ganzes Stück Weg zurückzulegen. Möglicherweise lässt sich dann der Anteil an schwerwiegenden Fehlern beim Kunden weiter verringern.

Die Auswertung der Umfrage unter dem Aspekt der agilen Softwareentwicklung zeigt, dass viele Projekte dabei sind, die Umsetzung der Agilität voranzutreiben. Vollständig scheint das aber noch nicht überall gelungen zu sein. Ein Diskussionsbeitrag, der in einem Workshop auf einer Tagung gefallen ist, trifft die aktuelle Situation dieser Projekte sehr treffend: "Wir entwickeln nach Water-Scrum-Fall."

Andreas Spillner
ist Hochschullehrer für Software Engineering mit Fokus auf Qualitätssicherung an der Hochschule Bremen. Er war Gründungsmitglied und ist nun Ehrenmitglied des German Testing Boards. Seit 2007 ist er Fellow der Gesellschaft für Informatik (GI).

Karin Vosseberg
ist Hochschullehrerin für Informatik und Wirtschaftsinformatik an der Hochschule Bremerhaven mit den Schwerpunkten Systemintegration und Qualitätssicherung.

Mario Winter
ist Hochschullehrer an der Fachhochschule Köln für Software Engineering, Projektmanagement und Qualitätssicherung. Er ist Mitglied im GTB und war Sprecher der Fachgruppe TAV der GI e.V.

Peter Haberl
verantwortet bei der ANECON Software Design & Beratung GmbH als Geschäftsführer die
Dienstleistungen und Kundenbeziehungen in Deutschland.

Literatur

1. Joachim Herschmann; Geprüft; Trends bei der Qualitätssicherung von Software; iX Developer Programmieren heute, S. 149
2. Matthias Hamburg, Tilo Linz; Für eine bessere Software; Geeignete Organisation von Testprozessen und professionelle Qualifikation der Tester; Artikel [2] auf heise Developer

(ane [3])

URL dieses Artikels:
https://www.heise.de/-1369290

Links in diesem Artikel:
[1] http://www.softwaretest-umfrage.de
[2] https://www.heise.de/ratgeber/Geeignete-Organisation-von-Testprozessen-und-professionelle-Qualifikation-der-Tester-1143759.html
[3] mailto:ane@heise.de

Copyright © 2011 Heise Medien