Ich möchte mit der Zahl beginnen, denn sie ist der einzige Grund, warum ich das schreibe. Der Gewinnfaktor von LLY lag bei 1.156. Nicht 1.156. Elfhundertsechsundfünfzig. Wenn Sie Backtests durchgeführt haben, wissen Sie bereits, was diese Zahl bedeutet: nicht „einen unglaublichen Vorteil gefunden“, sondern „einen Fehler oder einen Zufall gefunden und ihn noch nicht entdeckt“.
Ich hatte es noch nicht erwischt. Es befand sich monatelang in einer Überschreibungsdatei, der ich vertraute, bevor ich eine ordnungsgemäße erneute Validierung durchführte – 2-Jahres-Zeitstabilität, Quartal für Quartal, anstelle einer über das gesamte Fenster berechneten aggregierten Zahl. LLYs PF ist nicht einfach gesunken. Es kam darauf an 1,92, und die vierteljährliche Aufschlüsselung zeigte genau, warum: 13 im ersten Quartal abklingend auf 0,7 bis zum vierten. Die Gesamtzahl war ein Durchschnitt, der zu Beginn des Quartals bei einer kleinen Stichprobe um eine Freak nach oben gezogen wurde. Zu dem Zeitpunkt, als irgendjemand es live gehandelt hätte, war die Kante bereits tot.
LLY war nicht die Einzige
Nachdem ich aufgehört hatte, einzelnen aggregierten Zahlen zu vertrauen, hielt sich der Rest der Auswahlliste nicht viel besser. ZRO ging von einem Gewinnfaktor von aus 6.55 Zu 0,88 unter derselben Validierung – und 0,88 bedeutet netto-negativ. Nicht „kleinere Kante“. Keine Kante, einmal ehrlich gemessen. MRVL, LAB, GOOGL und AVAAI alle scheiterten auf die gleiche Weise: Fake-Edges, die auf Cherry-Picks in kleinen Stichproben zurückgeführt wurden, die Art von Ergebnis, die man erhält, wenn ein Backtest-Fenster zufällig eine Handvoll Trades enthält, die alle zufällig auf die gleiche Weise verliefen.
Sieben Kandidaten nahmen an diesem Validierungspass teil. Drei kamen auf der anderen Seite heraus.
| Symbol | PF | WR | Gewerbe | Urteil |
|---|---|---|---|---|
| MEGAUSDT | 3.31 | 98,0 % | 2.000 | Stabil, ausdauernd > trainieren |
| EWJUSDT | 1.41 | 56,0 % | 124 | Echt, zu klein, um von Bedeutung zu sein |
| NAORIS | 1.17 | 87,0 % | 2.000 | Positiv, aber verfallend |
| LLY | 1156 → 1,92 | — | — | Fake, Kante tot im vierten Quartal |
| ZRO | 6,55 → 0,88 | — | — | Fake, netto – 177 $ |
Wie stattdessen eine echte Kante aussieht
MEGAUSDT ist das Unternehmen, dem ich vertraue, und das liegt nicht nur daran, dass sein Gewinnfaktor (3,31) hoch ist. Viele gefälschte Kanten haben auch hohe Gewinnfaktoren – der LLY war mehr als 300-mal höher. Was MEGA anders macht, ist die Richtung, in die es sich bewegte, als ich es aus der Stichprobe aufteilte: trainierter PF war 1,66, Holdout PF kam herein 3.38. Es hat besser auf Daten, die es nicht gesehen hatte. Das ist das Gegenteil von dem, was ein Overfit-Ergebnis bewirkt, und über 2.000 Trades und 5 stabile Vorlagen hinweg hat es sich in jedem von mir überprüften Regime auf die gleiche Weise gehalten, mit Ausnahme eines gemischten BEAR/LOW-Volumen-Slice. Es ist das einzige Paar in diesem Stapel, das ich mit „trust_level HIGH“ markiert habe.
EWJ ist der ehrliche kleine Fall. Ein Gewinnfaktor von 1,41 ist nicht aufregend, aber er ist bei realen Geschäften über alle vier Quartale hinweg stabil – er hat einfach nicht die Stichprobengröße oder die Liquidität, um mehr als eine Fußnote zu sein. NAORIS macht mir ein wenig Sorgen: PF 1,17 hört sich gut an, bis man sich den vierteljährlichen Trend ansieht – 1,14, dann 1,33, dann 1,25, dann 0,98. Immer noch auf der rechten Seite der Gewinnschwelle, aber die Linie zeigt auf Null, und ich vergrößere nicht etwas, das aktiv im Niedergang begriffen ist, nur weil die Zahl dieses Quartals immer noch positiv ist.
Was ich jetzt überprüfe, bevor ich einem Gewinnfaktor vertraue
Nicht die Gesamtzahl. Zuerst die vierteljährliche Aufschlüsselung. Ein zweijähriger Backtest mit einem einzigen PF, der über das gesamte Zeitfenster berechnet wird, kann einen Vorsprung verbergen, der vor achtzehn Monaten verschwunden ist und nur noch positiv erscheint, weil ein frühes Quartal stark genug war, um den Durchschnitt nach oben zu ziehen. LLY ist die extreme Version davon – PF=1156 war nie „ein Vorteil“, es war ein Glücksfall, der ein Kostüm trug.
Die zweite Prüfung ist „Durchhalten“ versus „Training“ und in welche Richtung es sich bewegt. MEGA ist aus der Probe besser geworden. Alles, was sich in der Stichprobe verschlechtert hat, ist von der Liste gestrichen, egal wie gut die Schlagzeilenzahl aussah. Ich gehe jeden Profit-Faktor-Anspruch, meinen oder den von irgendjemand anderem, durch Der Gewinnfaktor-Rechner mit den tatsächlichen Handelszahlen, bevor ich mich von einer einzelnen Gesamtzahl zu irgendetwas überreden lasse, und ich überprüfe, was eine Reihe von Verlusten gegenüber diesem „Rand“ tatsächlich für ein Konto bei der bedeuten würde Ruinrisikorechner.
Was Sie überprüfen sollten, bevor Sie dem Gewinnfaktor eines Backtests vertrauen
- Teilen Sie es in Viertel auf, bevor Sie sich die Gesamtmenge ansehen. Ein durchschnittlicher PF über zwei Jahre hinweg kann einen Vorteil verbergen, der seit achtzehn Monaten tot ist.
- Überprüfen Sie, in welche Richtung sich der Holdout im Vergleich zum Training bewegt. Eine echte Kante sollte die Probe halten oder verbessern. Sowohl LLY als auch ZRO verschlechterten sich dramatisch.
- Misstrauen Sie absurden Zahlen grundsätzlich. Ein PF über etwa 5-10 auf realen Marktdaten ist ein Grund, nach einem Artefakt mit kleiner Stichprobe zu suchen, kein Grund zum Feiern.
- Wägen Sie die Stichprobengröße gegen die Liquidität ab. EWJ ist mit 124 Trades real, aber zu illiquide, um von Bedeutung zu sein. NAORIS hat 2.000 Trades, aber ein sichtlich rückläufiger Trend. Keine der beiden Zahlen allein erzählt die ganze Geschichte.
FAQ
Wie kann ein Backtest einen Gewinnfaktor von 1.156 ergeben?
Fast immer eine kleine Kostprobe. Eine Handvoll erfolgreicher Trades in einem engen Zeitfenster können zu einem Gewinnfaktor führen, der astronomisch erscheint, da es kaum verlustbringende Trades gibt, durch die man dividieren kann. LLY zeigte bei einem frühen Durchgang PF=1156 an, und die Zahl war kein Fehler, sie maß lediglich einen winzigen, von Rosinen gepflückten Ausschnitt aus der Geschichte, der zufällig in eine Richtung ging. Bei der Lösung handelt es sich nicht um eine bessere Formel, sondern um mehr Daten über einen längeren Zeitraum.
Was prüft die 2-Jahres-Zeitstabilitätsvalidierung eigentlich?
Es teilt die Ergebnisse zweier Jahre in Quartale auf und berechnet den Gewinnfaktor für jedes Quartal separat neu, anstatt sich auf eine einzige Zahl zu verlassen, die über den gesamten Zeitraum berechnet wird. Ein echter Vorsprung hält Viertel für Viertel. Der vierteljährliche PF von LLY sank im ersten Quartal um 13 auf 0,7 im vierten Quartal – der Gesamt-PF von 1156 war ein Durchschnitt, der von einem Freak zu Beginn des Quartals dominiert wurde, und der Vorsprung war bereits tot, als irgendjemand damit live gehandelt hätte.
Welche Paare haben die Validierung tatsächlich überlebt und warum?
Drei, aus einer engeren Auswahl, zu der unter anderem LLY und ZRO gehörten. MEGAUSDT hat sauber bestanden: PF 3,31 bei 2.000 Trades, stabil über 5 Vorlagen hinweg, und sein Holdout-Perioden-PF (3,38) war tatsächlich höher als sein Trainings-PF (1,66) – die entgegengesetzte Richtung, in die sich eine gefälschte Kante bewegt. EWJUSDT ist real, aber winzig: PF 1,41, stabil über alle 4 Quartale, aber nur 124 Trades und sehr geringe Liquidität, sodass es die Nadel kaum bewegt. NAORIS ist das, was ich beobachte und dem ich nicht vertraue: PF 1,17 mit vierteljährlichem PF, der von 1,14 auf 1,33 auf 1,25 auf 0,98 abrutscht – immer noch positiv, aber die Trendlinie zeigt auf Null.
Was muss ich prüfen, bevor ich jetzt dem Gewinnfaktor eines Backtests vertraue?
Die vierteljährliche Aufschlüsselung vor der Gesamtzahl. Ein einzelner über zwei Jahre berechneter Gewinnfaktor kann einen Vorsprung verbergen, der vor 18 Monaten verloren gegangen ist und durch ein starkes Anfangsquartal gestützt wird. Ich teile jeden Kandidaten in Viertel auf, überprüfe die Richtung, in die er sich bewegt (nicht nur, ob sie derzeit positiv ist), und führe Holdout vs. Training separat noch einmal durch, um sicherzustellen, dass der Vorteil aus der Stichprobe stärker und nicht schwächer wird.