Backtests: Der fast sichere Weg zum Narrengold

Die Fondsindustrie setzt für die Markteinführung auf Performance-Simulationen. Wir zeigen, warum die meisten dieser a Priori-Leistungstests Unsinn sind - und wie Anleger diejenigen ausmachen können, die ernst zu nehmen sind.

Samuel Lee 25.11.2013
Facebook Twitter LinkedIn

Am Anfang des Vertriebserfolgs steht der Backtest! Die Fondsbranche und der Vertrieb leben von der Auflage immer neuer Produkte. Neue Fonds scheinen immer noch die Phantasie der Investoren zu wecken, in einer Zeit, in der die Investmentindustrie es schwer hat, bei Privatkunden Gehör zu finden. Dass neue Fonds immer noch die Brieftaschen der Kunden öffnen, zeigen unsere Daten regelmäßig: Im laufenden Jahr wurden per Ende Oktober 153, 4 Milliarden Euro europaweit in Fonds investiert, die unter 12 Monaten alt sind. Zum Vergleich: 245,47 Milliarden Euro flossen in diesem Zeitraum insgesamt in Publikumsfonds. Das bedeutet, das fast zweidrittel aller Fonds-Investments den Newcomern zugute kam.

Ein unerlässliches Vertriebsinstrument ist die Simulation, wie die Strategie eines neuen Fonds gelaufen wäre, hätte er sich bereits langfristig am Markt befunden. Diese Was-wäre-Wenn-Darstellungen werden in der Finanzsprache Backtests genannt. Doch worum handelt es sich bei diesen Tests wirklich?

Börsenbriefe rechnen ihre Portfolios besonders gerne schön

Ich meine, sie sind eine legitime Möglichkeit, um statistisch verfälschend einen über die Gebühr optimistischen Renditepfad eines neuen Produkts aufzuzeigen. Dafür ernetet man die „Lorbeeren“ in Gestalt der Zuflüsse überzeugter Anleger. Ich glaube nicht, dass ich mich mit dieser Formulierung in Zynismus ergehe. Die meisten Backup-Strategietests, die ich gesehen habe, sind, gelinde gesagt, problematisch.

Die geringsten Ansprüche an die Realität stellen die allseits bekannten Börsen-Newsletter und Trading-Software-Anbieter, die fast alles im Rahmen der Pressefreiheit  behaupten können, ohne Rechtsfolgen fürchten zu müssen. Es werden Renditen von monatlichen 30% (das sind annualisiert 2.230 %!), gerne mit „geringem Risiko“, in Aussicht gestellt. Fairerweise bewegen sich die meisten Backtests in der Regel "nur" im Bereich von 20–50 % annualisiert, aber auch das ist letztendlich ein trauriger Versuch, um einen letzten Schein von Glaubwürdigkeit zu erhalten.

Backtests sind vor allem in der Welt der aktiven Fondsmanager zuhause, sind allerdings auch in der Index- und ETF-Welt weit verbreitet. Auch hier haben einige Anbieter unglaubwürdige Backtests produziert. Letztes Jahr veröffentlichte der Index-Fondsanbieter Vanguard eine Studie, die das rückwirkende Indextracking von ETFs testete. Die Autoren, Joel M. Dickson, Sachin Padmawar und Sarah Hammer, wählten eine Stichprobe von Aktienindizes, deren Performance über mindestens fünf Jahre zurück getestet und weitere fünf Jahre live überwacht wurde. In den fünf Jahren, bevor der Index initialisiert wurde, erzielte er im Durchschnitt eine Überrendite von 12,25% gegenüber dem US-Aktienmarkt. In den fünf Jahren nach der Initialisierung waren die Renditen gemittelt 0,26 % negativ. Mit anderen Worten, die meisten ETF-Index-Backtests sind Müll.

In den fünf Jahren, bevor der Index initialisiert wurde, erzielte er im Backtest eine Überrendite von 12,25%. In den fünf Jahren nach Initialisierung waren die Renditen negativ. Mit anderen Worten, die meisten ETF-Index-Backtests sind Müll.

Die Ergebnisse der Studie von Vanguard sind nicht so überraschend (und nicht nur, weil die Studie von Vanguard kommt, einem eifrigen Verfechter der kostengünstigen marktkapitalisierungsgewichteten Indizes). Viele rückwärtig geprüfte Indizes der Stichprobe wurden auf Geheiß von ETF-Emittenten zusammengestellt, die neue Fonds in einem „heißen“ Marktsegment abdeckten.(Nur wenige Produktanbieter werden Fonds in einer ungeliebten Anlageklasse auflegen.)

Wenn es eine Wahrheit gibt, auf die man sich verlassen kann und die zuverlässig ignoriert wird, ist es diese, dass die Vergangenheit keine Garantie für zukünftige Ergebnisse ist. Oder: Traue nie einem Backtest.

Backtests sind so häufig nutzlos, da es viel mehr falsche als echte Beziehungen in einem typischen Datensatz gibt. Es ist einfach, ein Experiment dahingehend zu optimieren, dass eine „statistisch signifikante“ Beziehung hergestellt wird - die tatsächlich allerdings nicht vorhanden ist. Diese voreingenommene Datensuche ist einer der Gründe, warum viele – wenn nicht die meisten – veröffentlichten Forschungsergebnisse falsch sind.

Der Idee nach können Backtests sinnvoll und legitim sein ...

Doch das muss nicht unbedingt so sein. Prinzipiell gibt es keinen logischen Grund, Backtests abzusprechen, ein sinnvolles Werkzeug zu sein. Sie können die Wahrheit aufdecken bzw. etwas, was der Wahrheit nahekommt. Backtests sind eine Anwendung der Induktion, eine Methode der Argumentation, die – grob gesagt – universelle Prinzipien von bestimmten Beobachtungen ableitet.

Ich glaube, es ist vollkommen sicher zu behaupten, dass die Induktionsmethode funktioniert. Ein Beispiel: Es ist schlüssig zu argumentieren, dass die Sonne fast sicher morgen aufgehen wird, weil das seit 4,5 Milliarden Jahren jeden Tag der Fall ist.

... oder einfach nur die Grundlage für Schindluder darstellen

Umgekehrt kann man allerdings alles über einen Kamm scheren, wenn man nur den Abstraktionsgrad hoch genug ansetzt. Dazu noch ein Beispiel: Ein Stück Kohle und die opulenten Haare des US-Schauspielers Richard Simmons können als eine Klasse von „Dingen, die als Kraftstoff verbrannt werden können“ kategorisiert werden. Mit den Letzteren das eigene Haus beheizen zu wollen, ist jedoch unpraktisch und wahrscheinlich keine gute Idee.

Vernünftige Investoren argwöhnen über Backtestergebnisse, dass sie in der Theorie zwar etwas Wahres in der Welt beleuchten, sie glauben jedoch, dass man sich in der Praxis kaum auf Backtests verlassen kann, um in Zukunft so zu verfahren wie bisher. Die Vanguard-Studie, die herausfand, dass die Performance der Vergangenheit keine zuverlässige Vorhersage für zukünftige Renditen ist, steht im Einklang vieler Studien von unabhängigen Forschern. Ein Skeptiker könnte daraus schließen, dass Backtests als Indikation genauso brauchbar sind wie es sinnvoll ist, Richard Simmons Haare in die Kategorie der Dinge einzusortieren, die als Kraftstoff verbrannt werden können.

Anleger sollten es sich allerdings nicht zu leicht machen

Doch wer sich jetzt zufrieden zurücklehnt, muss ich enttäuschen. Das Problem an der Radikalkritik ist, dass viele, zu viele erfolgreiche Investoren Backtester sind oder waren. Benjamin Graham, der Vater des Value-Investierens und Mentor von Warren Buffett, entwickelte Handelsregeln auf der Grundlage von Studien, die in der Vergangenheit funktioniert haben– also mithilfe von  Backtests.

Das Problem an der Radikalkritik ist, dass viele, zu viele erfolgreiche Investoren Backtester sind oder waren. Etwa Benjamin Graham oder Warren Buffett.

Buffett wendete zu Beginn seiner Karriere Grahams Regeln an, um „Zigarenkippen“ zu identifizieren (cigar butts approach to investing). Er begann, günstige Aktien bzw. Unternehmen, die Vermögenswerte haben, teurer zu verkaufen, als er für sie zuvor bezahlt hatte. Mit Erfolg, wie wir alle wissen.

Ein weiterer erfolgreicher Graham-Gefolgsmann, Walter Schloss, erreicht annualisiert 20% Brutto-Renditen über mehrere Jahrzehnte durch die Auswahl von Anleihen anhand bestimmter, einfacher statistischer Methoden, die er lernte, während er für Ben Graham arbeitete.

Ray Dalio, Gründer von Bridgewater Associates und der wohl erfolgreichste lebende Makro-Investor, verwendet Backtest-Strategien, um den Pure Alpha, einen außergewöhnlichen Fonds, der nur fundamentale quantitative Modelle verwendet, zu betreiben. Der Medaillon Fund des Mathematikers James Simons, der auf eine quantitative Fast-Trading-Strategie setzt, erzielte 35% annualisierte Rendite nach Gebühren seit 1989.

Gewissermaßen hat sich jeder Investor, der ein historisches Muster beobachtet, mit Backtests gearbeitet. Aber was trennt einen guten Backtest von einem schlechten? Oder, allgemeiner, was trennt in den Finanzmärkten eine gültige Induktion von einer ungültigen? Lesen Sie Teil zwei des Artikels zu Backtests hier.

Facebook Twitter LinkedIn

Über den Autor

Samuel Lee  Samuel Lee is an ETF Analyst with Morningstar.