Ich teste seit Monaten Strategien auf einer Heim-GPU und die Ergebnisse häufen sich schnell – ein Durchlauf spuckt eine Datei aus, der nächste Durchlauf spuckt eine andere aus, und schließlich liegen Tausende davon auf der Festplatte. Schließlich habe ich mich hingesetzt und eine gründliche Prüfung des gesamten Sachverhalts durchgeführt. Keine einzige Strategiefamilie, kein einziger großer GPU-Lauf. Jede einzelne Datei. 14.925 von ihnen, enthaltend 152.484 einzelne Backtest-Datensätze über 1.400 einzigartige Paare.
Dann habe ich den gleichen Rentabilitätsstandard angewendet, den ich überall in diesem Blog verwende – genug Trades, um etwas zu bedeuten, einen Gewinnfaktor und eine Gewinnquote, die einer Überprüfung standhalten, anstatt nur einen Blick darauf zu werfen, nichts, das durch stille Mittelung zu einem Verlierer gestützt wird. Was auf der anderen Seite herauskam: 269 lebensfähige Aufzeichnungen, die zu Just gehören 9 einzigartige Paare.
Der Trichter macht niemanden Screenshots
Jeder Backtest-Beitrag in diesem Blog spricht von einem Gewinner. Niemand veröffentlicht den Nenner. Hier ist meins:
| Bühne | Zählen | Überleben |
|---|---|---|
| Ergebnisdateien gescannt | 14.925 | — |
| Individuelle Backtest-Aufzeichnungen | 152.484 | 100 % |
| Einzigartige Paare getestet | 1.400 | — |
| Rekorde, die tatsächlich lebensfähig waren | 269 | 0,18 % |
| Einzigartige Paare, die mindestens einen brauchbaren Datensatz hatten | 9 | 0,64 % der Paare |
Lesen Sie die letzte Zeile noch einmal. Von 1.400 verschiedenen Paaren habe ich irgendwann einen Backtest durchgeführt, 9 ein vertrauenswürdiges Ergebnis hervorgebracht. Nicht 9 Konfigurationen – 9 Paare, von allen Binance-Listen, die ich getestet habe. Alles andere funktionierte entweder nie, funktionierte bei zu wenigen Trades, um irgendetwas zu bedeuten, oder sah nur deshalb gut aus, weil sich die Strategie stillschweigend mit der Herabsetzung des Durchschnitts rettete.
Was tatsächlich die Messlatte geräumt hat
Die 9 lebensfähigen Paare teilten sich in zwei Gruppen auf. Sieben waren bereits auf meinem Radar – Paare, die das Override-System bei der Eingabe gemeldet hatte, bevor ich überhaupt diese spezielle Prüfung durchgeführt habe: AVAAIUSDT, EWJUSDT, GOOGLUSDT, LABUSDT, LLYUSDT, MRVLUSDT Und ZROUSDT, umfasst die Familien range_bounce und volume_reversal.
Die andere Seite ist der Teil, der mir wirklich am Herzen lag: Dieser spezielle archivweite Pass ist aufgetaucht 6 neue Kandidaten die vorher nicht in dieser Liste waren. Ich kann nur für zwei davon mit Angabe realer Zahlen bürgen, denn das sind die beiden, von denen ich die vollständigen Statistiken abgerufen habe:
| Neuer Kandidat | Familie | PF | WR | Gewerbe | dca1_rate |
|---|---|---|---|---|---|
| BSBUSDT | range_bounce | 6,86 | 75,0 % | 200 | 24,5 % |
| BILLUSDT | volume_reversal | 4.63 | 98,6 % | 142 | 28,9 % |
BSBUSDT stands out for the reason I actually trust it a little: a PF of 6.86 with a win rate of only 75%, not 96%+. When the profit factor and win rate aren't both suspiciously high at once, it's usually a sign the edge is coming from trade sizing and exits doing real work, not from a strategy that just never loses on paper. BILLUSDT is the opposite shape — a near-perfect 98.6% win rate — which is exactly the pattern I've learned to be careful with elsewhere on this blog. That number is also the family's second act: I'd already killed volume_reversal elsewhere at a 7% win rate, and here it is again at 98.6% on a different coin. Both got marked GOOD_FOR_DEEP_TEST, was bedeutet, Kandidat, nicht bestätigt. Keines von beiden hat die Art von mehrvierteljährlicher Stabilitätsprüfung durchlaufen, die ich jetzt benötige, bevor ich etwas als validiert bezeichnen würde.
Nicht die gleiche Zahl wie „85 Millionen Backtests“
Ich habe bereits darüber geschrieben, dass auf einer Gaming-GPU in einem einzigen Durchlauf etwa 85 Millionen Parameterkombinationen durch eine einzige Strategiefamilie laufen. Das ist eine andere Zahl, die etwas anderes misst – ein Lauf, eine Familie, ein Screening-Durchgang bis hin zur engeren Auswahl. Dieses Audit ist das Archiv: jede Datei, jeder Lauf, jede Familie, alles, was ich generiert habe. Die beiden Zahlen sollten nicht addiert werden und sie messen nicht denselben Trichter, aber sie kommen aus zwei völlig unterschiedlichen Blickwinkeln zu derselben Schlussfolgerung. Fast nichts überlebt den Kontakt mit echten Standards, egal, ob Sie sich den GPU-Lauf eines Nachmittags oder die angesammelten Dateien eines Jahres ansehen.
Was mir eine Überlebensrate von 0,64 % tatsächlich sagt
Es ist keine entmutigende Zahl, es ist die ehrliche Zahl. Wenn ich mir immer nur meine besten Einzelläufe angesehen hätte, hätte ich einen Ordner voller beeindruckend aussehender Gewinnfaktoren und keine Ahnung, wie repräsentativ diese tatsächlich sind. Die einzige Möglichkeit, den tatsächlichen Basiszinssatz zu ermitteln, besteht darin, alles auf einmal zu prüfen – einschließlich der Fehler, über die ich nie einen Beitrag geschrieben habe. Von 1.400 Paaren haben 9 gehalten. Das ist die Zahl, die ich haben möchte, bevor ich irgendetwas riskiere, und sie ist viel kleiner, als es sich anfühlt, wenn man isoliert auf ein gutes Ergebnis starrt.
Bevor ich wieder einer einzelnen Backtest-Zahl vertraue, gehe ich das Worst-Case-Ergebnis durch Gefahr des Ruins Und maximaler Drawdown – weil ein Paar, das die Anforderungen dieser Prüfung erfüllt, Ihnen sagt, dass es die Prüfung überstanden hat, und nicht, dass es nicht immer noch schlecht laufen kann.
Was Sie überprüfen sollten, bevor Sie Ihrem eigenen Backtest-Archiv vertrauen
- Überprüfen Sie alles, nicht nur Ihren besten Lauf. Ein einziger großer GPU-Bildschirm zeigt Ihnen, was eine Strategiefamilie leisten kann. Eine vollständige Archivprüfung zeigt Ihnen Ihren tatsächlichen Basispreis.
- Seien Sie misstrauisch gegenüber einer perfekten Gewinnquote gepaart mit einem riesigen Gewinnfaktor. Die 75 % WR / 6,86 PF-Kombination von BSBUSDT erscheint als vertrauenswürdiger als eine 98 %+ WR-Kombination, gerade weil sie nicht verdächtig sauber ist.
- „Kandidat“ ist nicht „bestätigt“. GOOD_FOR_DEEP_TEST bedeutet, dass ein Ergebnis den ersten Balken überwunden hat, und nicht, dass es die mehrvierteljährliche Stabilitätsprüfung überstanden hat, die eine echte Kante von einer glücklichen Probe unterscheidet.
- Führen Sie die Überlebenden durch die Nachteile, bevor Sie ihnen vertrauen. Ich benutze Gefahr des Ruins Und DCA-Überleben auf alles, was die Prüfung abschließt, bevor ich es als erledigt bezeichnen würde.
→ Ruinrisikorechner · → DCA-Überlebensrechner · → Maximaler Drawdown-Rechner
FAQ
Was deckte dieses Backtest-Audit eigentlich ab?
Jede Backtest-Ergebnisdatei, die ich auf der Festplatte hatte – nicht ein Durchlauf, das gesamte Archiv. 14.925 Dateien mit 152.484 einzelnen Backtest-Datensätzen, die 1.400 einzigartige Handelspaare über mehrere Strategiefamilien hinweg umfassen, einschließlich Range_Bounce und Volume_Reversal. Bei der Prüfung wurde jeder einzelne von ihnen erneut anhand der gleichen Lebensfähigkeitsstandards überprüft, die ich in diesem Blog verwende.
Warum haben so wenige Paare überlebt?
Denn die meisten Backtest-Ergebnisse, die auf den ersten Blick gut aussehen, halten nicht stand, wenn man echte Maßstäbe anwendet – genügend Trades, um etwas zu bedeuten, ein Gewinnfaktor und eine Gewinnrate, die kein Zufall bei kleinen Stichproben sind, und Ergebnisse, die nicht stillschweigend durch die Mittelung in Verlierer gestützt werden. Von 152.484 Datensätzen haben nur 269 diese Grenze überschritten, und diese 269 Datensätze gehörten nur zu 9 eindeutigen Paaren der 1.400 getesteten. Eine Überlebensrate auf Paarebene von 0,64 % ist kein Fehler in diesem Prozess, sondern das, was passiert, wenn Sie aufhören, die Highlight-Rolle zu zählen, und alles zählen.
Wie unterscheidet sich das von den „85 Millionen Backtests auf einer GPU“-Beiträgen?
Diese Beiträge decken einen großen GPU-Lauf einer einzelnen Strategiefamilie ab und prüfen etwa 85 Millionen Parameterkombinationen bis hin zu einer Auswahlliste. Dieses Audit ist anders – eine vollständige Archivüberprüfung für jede Datei, jeden Lauf und jede Strategiefamilie, die ich jemals erstellt habe, insgesamt 14.925 Dateien und 152.484 Datensätze, nicht die Ausgabe eines einzigen Laufs. Die beiden Zahlen messen unterschiedliche Dinge und sollten nicht addiert werden, aber sie erzählen aus zwei Blickwinkeln die gleiche Geschichte: Das meiste, was zurückgetestet wird, überlebt die Prüfung nicht.
Was hat dazu geführt, dass ein Rekord als lebensfähig galt?
Derselbe Standard, den ich überall in diesem Blog anwende: genügend Trades, damit die Zahlen etwas bedeuten, ein Gewinnfaktor und eine Gewinnquote, die es überstehen, überprüft und nicht nur angeschaut zu werden, und keine versteckte Abhängigkeit von der Mittelwertbildung, um eine Gewinnquote zu ermitteln. Datensätze, die eine dieser Prüfungen nicht bestanden haben, wurden nicht gezählt, weshalb 152.484 Datensätze auf 269 brauchbare Datensätze schrumpften, bevor überhaupt die Paarzählung vorgenommen wurde.