Gently_ schrieb am 4. Juli 2002 13:55
> Günther schrieb am 4. Juli 2002 13:43
>
> > Gently_ schrieb am 4. Juli 2002 11:51
> > > Günther schrieb am 4. Juli 2002 10:16
> > >
> > > > Was meinst Du mit "wiederholbaren Tests"? Natürlich müssen Bugs
> > > > reproduzierbar sein -- ansonsten wären es ja keine...
> > > Die Tests.
> > Wieso soll ein Test nicht wiederholbar sein? (Wenn der Tester
> > beschreibt, was er tut bzw. getan hat). Das gibt irgendwie keinen
> > Sinn.
>
> Grrr.
> Es gibt definierte Testfälle, die müssen funktionieren und nach
> Änderungen in der Software wiederholt werden.
> 'Klicktests' erfüllen diese Bedingung nicht.
>
Ich lag mit meiner Vermutung also schon richtig, dass Du völlig am
Thema vorbei diskutierst.
Du redest wiederholt ausschliesslich von Testvorschriften. Natürlich
müssen alle Tests nach jeder Veränderung der Software (möglichst
vollständig) wiederholt werden. Deshalb gibt es ja auch i.d.R. nicht
nur eine sondern mehrere Beta-Testphasen. Es muss ja schliesslich
getestet werden, ob die Bugfixes
a) den jeweiligen Bug selbst behoben haben und/oder
b) nicht einen anderen/weitere Bugs produziert haben.
Unabhängig davon, muss mir als Softwareentwickler eine möglichst
grosse Schar an Testern willkommen sein. Wie ich dann meine
Prioritäten beim Bugfixen setze, ist wieder eine ganz andere Frage.
>
> > Mir ist sehr wohl bewusst, wie solche firmeninternen Tests ablaufen.
> > Das war aber nicht das Thema!
>
> Das Thema war eigentlich, ob öffentliche Betas eine hörere Qualität
> bedingen.
Sagen wir so: Sie sind der Qualität auf alle Fälle zuträglich (eine
Garantie gibt es dafür nicht). Du hast an anderer Stelle ja bereits
zugegeben, dass man die unterschiedlichsten
(Hardware-)Konfigurationen nur mit einer möglichst grossen Schar an
Testern, d.h. unter Einbezug der Öffentlichkeit, austesten kann.
>
> > > 'Klicktests' wie sie der gemeine User durchführt sind unprofesionell
> > > und und ineffizient.
> > Du bringst (unbewusst) ein gutes Beispiel:
> > Gerade solche "Klicktests" von DAU's bringen nach meiner Erfahrung
> > oft Bugs zum Vorschein. Beispiel: Doppelklicken auf einen Button
> > (darauf kommt i.d.R. nur ein DAU, der nicht weiss wann man einfach-
> > und wann doppelklicken muss) führt u.U. zu einem Programmabsturz,
>
> In Ausnahmefällen.
Solche Dinge sind gerade bei GUI-Tests mit DAU's relativ häufig.
> Derartige Tests haben nach meiner Erfahrung nur wenig Feedback
> geliefert.
Wieso wenig Feedback? Gab's keine Fehler oder waren die Leute zu
faul, die Bugs zu berichten?
> Sobald die Fachperson meine SW zerlegte, ging der Punk ab (und ich
> war bin
> am rotieren)
>
Er hat die Software zerlegt. Offensichtlich handelete es sich um
einen/mehrere gravierende Fehler. Wie gesagt: Um die absolut
gravierenden Fehler zu finden, braucht man keine umfangreichen Tests
(das hat auch niemand behauptet). Die findet man i.d.R. bereits in
der Alpha-Phase
>
> > wenn z.B. durch diesen Klick ein Thread gestartet wird
> > (versehentlicher Doppelklick startet dann kurz hintereinander
> > zwei)...
>
> Ja.
> Das mag in seltenen Fällen was bringen.
>
Nicht in seltenen Fällen sondern immer. Bei GUI's ist ein
öffentlicher Test mit möglichst zahlreichen DAU's unabdingbar!
>
> > > Einzig das Testen der vielfältigen HW-Kombinationen oder Einarbeiten
> > > von User-Wünschen rechtfertigen derartige offene Betas.
> > Nicht nur einzig (siehe oben).
> > Das ist aber de facto einer der wichtigsten Punkte, den Du
> > offensichtlich völlig vergessen hattest als Du für die Beschränkung
> > auf interne Beta-Tests plädiert hast.
>
> Nein.
> Es ging darum, ob es OK, dass SuSE keine öffentlichen Betas hat,
> bzw. gar keine Isos auf die FTP-Server stellt.
>
Eben. Da SuSE keine öffentlichen Tests macht, können sie ergo nicht
so viele HW-Kombinationen mit einschliessen.
>
> Argument dafür war die Qualität, am Beispiel der recht guten Mandrake
> 8.2
> Ich habe darauf hingewiesen, dass
>
> a) Mandrake trotz öffentlicher Betas schon ziemlich mistige Qualität
> abgeliefert hat.
Zu Zeiten als Mandrake auch in mindestens vierteljährlichem Zyklus
die Version wechselte, war eben selbst eine öffentliche
Beta-Testphase nicht schnell genug, um die Software gründlich genug
zu testen.
Das stellt also keineswegs ein Gegenargument dar.
> b) auch SuSE Beta-Phasen hat. Die Betas bekommen allerdings nur ein
> ausgewählter Personenkreis.
>
Bei Microsoft erhalten die Betas auch nur ausgewählte Personenkreise
(u.a. zahlende Kunden)....
> Meine Schlussfolgerung war, dass öffentliche Betas absolut kein
> Garant für
> gute Qualität sind, sondern vernünftige QS/QA-Massnahmen wie oben
Ein Garant nicht, aber eine notwendige Voraussetzung!
Günther
> Günther schrieb am 4. Juli 2002 13:43
>
> > Gently_ schrieb am 4. Juli 2002 11:51
> > > Günther schrieb am 4. Juli 2002 10:16
> > >
> > > > Was meinst Du mit "wiederholbaren Tests"? Natürlich müssen Bugs
> > > > reproduzierbar sein -- ansonsten wären es ja keine...
> > > Die Tests.
> > Wieso soll ein Test nicht wiederholbar sein? (Wenn der Tester
> > beschreibt, was er tut bzw. getan hat). Das gibt irgendwie keinen
> > Sinn.
>
> Grrr.
> Es gibt definierte Testfälle, die müssen funktionieren und nach
> Änderungen in der Software wiederholt werden.
> 'Klicktests' erfüllen diese Bedingung nicht.
>
Ich lag mit meiner Vermutung also schon richtig, dass Du völlig am
Thema vorbei diskutierst.
Du redest wiederholt ausschliesslich von Testvorschriften. Natürlich
müssen alle Tests nach jeder Veränderung der Software (möglichst
vollständig) wiederholt werden. Deshalb gibt es ja auch i.d.R. nicht
nur eine sondern mehrere Beta-Testphasen. Es muss ja schliesslich
getestet werden, ob die Bugfixes
a) den jeweiligen Bug selbst behoben haben und/oder
b) nicht einen anderen/weitere Bugs produziert haben.
Unabhängig davon, muss mir als Softwareentwickler eine möglichst
grosse Schar an Testern willkommen sein. Wie ich dann meine
Prioritäten beim Bugfixen setze, ist wieder eine ganz andere Frage.
>
> > Mir ist sehr wohl bewusst, wie solche firmeninternen Tests ablaufen.
> > Das war aber nicht das Thema!
>
> Das Thema war eigentlich, ob öffentliche Betas eine hörere Qualität
> bedingen.
Sagen wir so: Sie sind der Qualität auf alle Fälle zuträglich (eine
Garantie gibt es dafür nicht). Du hast an anderer Stelle ja bereits
zugegeben, dass man die unterschiedlichsten
(Hardware-)Konfigurationen nur mit einer möglichst grossen Schar an
Testern, d.h. unter Einbezug der Öffentlichkeit, austesten kann.
>
> > > 'Klicktests' wie sie der gemeine User durchführt sind unprofesionell
> > > und und ineffizient.
> > Du bringst (unbewusst) ein gutes Beispiel:
> > Gerade solche "Klicktests" von DAU's bringen nach meiner Erfahrung
> > oft Bugs zum Vorschein. Beispiel: Doppelklicken auf einen Button
> > (darauf kommt i.d.R. nur ein DAU, der nicht weiss wann man einfach-
> > und wann doppelklicken muss) führt u.U. zu einem Programmabsturz,
>
> In Ausnahmefällen.
Solche Dinge sind gerade bei GUI-Tests mit DAU's relativ häufig.
> Derartige Tests haben nach meiner Erfahrung nur wenig Feedback
> geliefert.
Wieso wenig Feedback? Gab's keine Fehler oder waren die Leute zu
faul, die Bugs zu berichten?
> Sobald die Fachperson meine SW zerlegte, ging der Punk ab (und ich
> war bin
> am rotieren)
>
Er hat die Software zerlegt. Offensichtlich handelete es sich um
einen/mehrere gravierende Fehler. Wie gesagt: Um die absolut
gravierenden Fehler zu finden, braucht man keine umfangreichen Tests
(das hat auch niemand behauptet). Die findet man i.d.R. bereits in
der Alpha-Phase
>
> > wenn z.B. durch diesen Klick ein Thread gestartet wird
> > (versehentlicher Doppelklick startet dann kurz hintereinander
> > zwei)...
>
> Ja.
> Das mag in seltenen Fällen was bringen.
>
Nicht in seltenen Fällen sondern immer. Bei GUI's ist ein
öffentlicher Test mit möglichst zahlreichen DAU's unabdingbar!
>
> > > Einzig das Testen der vielfältigen HW-Kombinationen oder Einarbeiten
> > > von User-Wünschen rechtfertigen derartige offene Betas.
> > Nicht nur einzig (siehe oben).
> > Das ist aber de facto einer der wichtigsten Punkte, den Du
> > offensichtlich völlig vergessen hattest als Du für die Beschränkung
> > auf interne Beta-Tests plädiert hast.
>
> Nein.
> Es ging darum, ob es OK, dass SuSE keine öffentlichen Betas hat,
> bzw. gar keine Isos auf die FTP-Server stellt.
>
Eben. Da SuSE keine öffentlichen Tests macht, können sie ergo nicht
so viele HW-Kombinationen mit einschliessen.
>
> Argument dafür war die Qualität, am Beispiel der recht guten Mandrake
> 8.2
> Ich habe darauf hingewiesen, dass
>
> a) Mandrake trotz öffentlicher Betas schon ziemlich mistige Qualität
> abgeliefert hat.
Zu Zeiten als Mandrake auch in mindestens vierteljährlichem Zyklus
die Version wechselte, war eben selbst eine öffentliche
Beta-Testphase nicht schnell genug, um die Software gründlich genug
zu testen.
Das stellt also keineswegs ein Gegenargument dar.
> b) auch SuSE Beta-Phasen hat. Die Betas bekommen allerdings nur ein
> ausgewählter Personenkreis.
>
Bei Microsoft erhalten die Betas auch nur ausgewählte Personenkreise
(u.a. zahlende Kunden)....
> Meine Schlussfolgerung war, dass öffentliche Betas absolut kein
> Garant für
> gute Qualität sind, sondern vernünftige QS/QA-Massnahmen wie oben
Ein Garant nicht, aber eine notwendige Voraussetzung!
Günther