Zum Inhalt springen

Methodik

Basisraten und Backtests: Wie oft ist „oft“?

„In 70 Prozent der Fälle stieg der Markt danach.“ Solche Sätze klingen präzise. Ob sie etwas bedeuten, hängt davon ab, womit man sie vergleicht und wie das Ergebnis zustande kam.

Volle Bücherregale mit Fachliteratur in einer Bibliothek

Was eine Basisrate ist

Die Basisrate beschreibt, wie häufig ein Ereignis ganz allgemein auftritt – unabhängig von einem bestimmten Signal oder Muster. Sie ist der Vergleichsmassstab, ohne den keine Trefferquote interpretierbar ist. Wenn ein breiter Aktienindex über lange Zeiträume an etwas mehr als der Hälfte aller Handelstage gestiegen ist, dann ist eine Regel, die an 55 Prozent ihrer Signaltage einen Anstieg „vorhersagt“, nicht bemerkenswert. Sie liegt nahe an dem, was man auch ohne Regel erwarten würde.

Die Vernachlässigung der Basisrate ist einer der am besten untersuchten Denkfehler der Verhaltensforschung. Menschen neigen dazu, die konkrete, anschauliche Information – das Signal – zu überschätzen und die abstrakte Häufigkeit im Hintergrund zu übersehen.

Ein bewusst einfaches Rechenbeispiel

Die folgenden Zahlen sind ausgedacht und dienen nur der Veranschaulichung. Angenommen, ein bestimmtes Chartmuster tritt in einem Datensatz 200-mal auf. In 130 dieser Fälle lag der Kurs einen Monat später höher. Das ergibt eine Quote von 65 Prozent.

Nun die Basisrate: Über alle Monate desselben Datensatzes lag der Kurs nach einem Monat in 60 Prozent der Fälle höher. Der Unterschied beträgt also fünf Prozentpunkte. Ob dieser Unterschied mehr ist als Zufall, hängt von der Stichprobengrösse und der Streuung ab – bei 200 Fällen ist er nicht sehr aussagekräftig. Ausserdem sagt die Quote nichts darüber, wie gross die Gewinne und Verluste in den einzelnen Fällen waren. Eine hohe Trefferquote kann mit wenigen, aber sehr grossen Verlusten einhergehen.

Aus 65 Prozent wird so bei genauer Betrachtung eine bescheidene, unsichere Abweichung von einer Basisrate. Das ist ein typisches Ergebnis – und ein gutes Beispiel dafür, warum Prozentzahlen ohne Vergleichsmassstab wenig aussagen.

Stichprobengrösse und Zufall

Je seltener ein Muster auftritt, desto stärker schwanken die Ergebnisse allein durch Zufall. Bei zwanzig Fällen kann eine Trefferquote von 70 Prozent leicht zustande kommen, obwohl das Muster keinerlei Aussagekraft hat. Bei zweitausend Fällen wäre dieselbe Quote deutlich bemerkenswerter – vorausgesetzt, die Fälle sind tatsächlich voneinander unabhängig.

Genau diese Unabhängigkeit fehlt bei Marktdaten häufig. Überlappende Zeitfenster, etwa wenn an jedem Tag die Entwicklung der folgenden zwanzig Tage gemessen wird, erzeugen viele Beobachtungen, die sich gegenseitig stark ähneln. Die scheinbar grosse Stichprobe schrumpft dann auf wenige wirklich unabhängige Episoden. Wer eine Statistik liest, sollte deshalb nicht nur fragen, wie viele Fälle es gibt, sondern auch, wie viele davon wirklich eigenständig sind.

Ein weiterer Punkt betrifft die Verteilung der Ergebnisse. Durchschnittswerte verdecken, dass Marktrenditen ungleichmässig verteilt sind: Wenige aussergewöhnliche Tage prägen oft einen grossen Teil des Gesamtergebnisses. Eine Regel, die zufällig einige dieser Tage erfasst oder verpasst, kann dadurch sehr gut oder sehr schlecht aussehen, ohne dass dies etwas über ihre Qualität verrät.

Was ein Backtest ist – und was nicht

Ein Backtest wendet eine Regel auf historische Daten an und berechnet, wie sie sich ausgewirkt hätte. Das ist ein legitimes Werkzeug, um Ideen zu prüfen. Ein Backtest ist allerdings keine Simulation der Zukunft, sondern eine Rekonstruktion der Vergangenheit unter vereinfachten Annahmen. Seine Aussagekraft hängt davon ab, wie sauber er aufgebaut ist.

Typische Verzerrungen

Die folgenden Verzerrungen tauchen in veröffentlichten Backtests so häufig auf, dass wir sie bei jeder Prüfung gezielt abfragen:

  • Vorgriff auf zukünftige Informationen (Look-ahead Bias): Die Regel verwendet Daten, die zum Zeitpunkt der Entscheidung noch nicht bekannt waren – etwa revidierte Konjunkturdaten oder Schlusskurse, die erst nach dem angenommenen Handelszeitpunkt feststanden.
  • Überlebensverzerrung (Survivorship Bias): Der Datensatz enthält nur Unternehmen oder Fonds, die heute noch existieren. Gescheiterte Werte fehlen, wodurch die Ergebnisse systematisch zu positiv ausfallen.
  • Datenschnüffelei (Data Snooping): Viele Varianten werden an denselben Daten getestet, und nur die beste wird berichtet. Je mehr Versuche, desto wahrscheinlicher ist ein zufällig gutes Ergebnis.
  • Vernachlässigte Kosten: Transaktionskosten, Geld-Brief-Spannen, Steuern und Marktauswirkungen eigener Orders werden nicht oder zu niedrig angesetzt. Gerade bei häufigem Handeln können sie ein Ergebnis vollständig aufzehren.
  • Regimewechsel: Der Testzeitraum fällt überwiegend in eine Phase mit besonderen Bedingungen, etwa dauerhaft sinkender Zinsen. Ob die Regel unter anderen Bedingungen funktioniert, bleibt offen.

Wie man einen Backtest liest

Eine seriöse Darstellung nennt den genauen Datenzeitraum, die Datenquelle, alle Parameter, die Zahl der getesteten Varianten und die berücksichtigten Kosten. Sie zeigt nicht nur die durchschnittliche Entwicklung, sondern auch die grössten zwischenzeitlichen Verluste, die Länge von Verlustphasen und die Streuung der Ergebnisse. Und sie trennt klar zwischen dem Zeitraum, in dem die Regel entwickelt wurde, und dem Zeitraum, in dem sie geprüft wurde.

Fehlen diese Angaben, ist das kein Beweis für einen Fehler – aber ein Grund, das Ergebnis vorsichtig zu behandeln. Eine glatte, stetig ansteigende Ergebniskurve ist eher ein Warnsignal als ein Qualitätsmerkmal: Reale Märkte verlaufen selten so.

Aufschlussreich ist ausserdem, ob die Autorinnen und Autoren einer Untersuchung selbst Schwächen benennen. Wer offen schreibt, in welchen Phasen eine Regel versagt hat und welche Annahmen kritisch sind, gibt dem Publikum die Möglichkeit, das Ergebnis selbst einzuordnen. Fehlt jede Einschränkung, handelt es sich eher um Werbung als um Analyse.

Fragen für die eigene Prüfung

  1. Wie hoch ist die Basisrate des Ereignisses, das die Regel vorhersagen soll?
  2. Wie viele Fälle liegen der Aussage zugrunde, und wie stark streuen sie?
  3. Wurde die Regel an Daten geprüft, die bei ihrer Entwicklung nicht verwendet wurden?
  4. Sind Kosten, Steuern und realistische Ausführungszeitpunkte berücksichtigt?
  5. Wie sähe das Ergebnis aus, wenn man den Zeitraum um einige Jahre verschiebt?

Diese Fragen machen aus einem beeindruckenden Diagramm eine überprüfbare Aussage. Vergangene Ergebnisse – ob real oder im Backtest berechnet – sind dabei nie ein verlässlicher Indikator für künftige Entwicklungen.

Quellen und weiterführende Stellen

Wir verlinken ausschliesslich auf die Startseiten der herausgebenden Institutionen. Die genannten Veröffentlichungen finden Sie dort über die jeweilige Suche oder das Publikationsverzeichnis.

Weiterlesen

Alle Artikel

Indikatoren als Fragen, nicht als Befehle