Cela fait des mois que je teste des stratégies sur un GPU domestique, et les résultats s'accumulent rapidement : une exécution crache un fichier, la suivante en crache un autre, et finalement vous en avez des milliers sur le disque. Je me suis finalement assis et j'ai effectué un audit approprié sur tout cela. Pas une seule famille de stratégies, pas une seule grande exécution de GPU. Chaque fichier. 14 925 d'entre eux, contenant 152 484 enregistrements de backtest individuels à travers 1 400 paires uniques.
Ensuite, j'ai appliqué la même norme de viabilité que j'utilise partout sur ce blog : suffisamment de transactions pour signifier quelque chose, un facteur de profit et un taux de victoire qui survivent à la vérification au lieu d'être simplement examinés, rien n'est soutenu par une moyenne discrète en perdant. Ce qui est ressorti de l'autre côté : 269 enregistrements viables, appartenant uniquement à 9 paires uniques.
L'entonnoir personne ne capture d'écran
Chaque article de backtest sur ce blog parle d'un gagnant. Personne ne publie le dénominateur. Voici le mien :
| Scène | Compter | Survie |
|---|---|---|
| Fichiers de résultats analysés | 14 925 | — |
| Enregistrements de backtest individuels | 152 484 | 100% |
| Paires uniques testées | 1 400 | — |
| Des disques réellement viables | 269 | 0,18% |
| Paires uniques ayant au moins un enregistrement viable | 9 | 0,64% des paires |
Relisez cette dernière ligne. Sur 1 400 paires différentes sur lesquelles j'ai effectué un backtest à un moment donné, 9 produit un résultat digne de confiance. Pas 9 configurations – 9 paires, parmi toutes les listes Binance que j'ai pris la peine de tester. Tout le reste n'a jamais fonctionné, a fonctionné sur trop peu de transactions pour avoir un sens, ou a semblé bon uniquement parce que la stratégie se sauvait tranquillement avec une moyenne à la baisse.
Qu'est-ce qui a réellement vidé la barre
Les 9 paires viables se répartissent en deux groupes. Sept étaient déjà sur mon radar – des paires que le système de dérogation avait signalées, avant même que j'effectue cet audit spécifique : AVAAIUSDT, EWJUSDT, GOOGLUSDT, LABUSDT, LLYUSDT, MRVLUSDT et ZRUSDT, couvrant les familles range_bounce et volume_reversal.
L'autre côté est la partie qui m'intéressait réellement : ce passage spécifique à l'échelle de l'archive a fait surface. 6 nouveaux candidats qui n'étaient pas dans cette liste auparavant. Je ne peux garantir que deux d’entre eux avec des chiffres réels cités, car ce sont ces deux-là pour lesquels j’ai tiré les statistiques complètes :
| Nouveau candidat | Famille | PF | WR | Métiers | dca1_rate |
|---|---|---|---|---|---|
| BSBUSDT | range_bounce | 6,86 | 75,0% | 200 | 24,5% |
| BILLUSDT | volume_inversion | 4,63 | 98,6% | 142 | 28,9% |
BSBUSDT stands out for the reason I actually trust it a little: a PF of 6.86 with a win rate of only 75%, not 96%+. When the profit factor and win rate aren't both suspiciously high at once, it's usually a sign the edge is coming from trade sizing and exits doing real work, not from a strategy that just never loses on paper. BILLUSDT is the opposite shape — a near-perfect 98.6% win rate — which is exactly the pattern I've learned to be careful with elsewhere on this blog. That number is also the family's second act: I'd already killed volume_reversal elsewhere at a 7% win rate, and here it is again at 98.6% on a different coin. Both got marked GOOD_FOR_DEEP_TEST, ce qui signifie candidat non confirmé. Ni l’un ni l’autre n’ont subi le genre de contrôle de stabilité sur plusieurs trimestres dont j’ai maintenant besoin avant d’appeler quelque chose de validé.
Ce n'est pas le même chiffre que "85 millions de backtests"
J'ai déjà écrit sur l'exécution d'environ 85 millions de combinaisons de paramètres via une seule famille de stratégies sur un GPU de jeu en une seule fois. C'est un nombre différent mesurant une chose différente : une course, une famille, une sélection transmise à une liste restreinte. Cet audit est l'archive : chaque fichier, chaque course, chaque famille, retraçant tout ce que j'ai généré. Les deux nombres ne doivent pas être additionnés et ils ne mesurent pas le même entonnoir, mais ils aboutissent à la même conclusion sous deux angles complètement différents. Presque rien ne résiste au contact avec les standards réels, qu'il s'agisse d'un après-midi de fonctionnement du GPU ou d'un an de fichiers accumulés.
Ce que me dit réellement un taux de survie de 0,64 %
Ce n’est pas un chiffre décourageant, c’est le chiffre honnête. Si je n'avais regardé que mes meilleurs singles, j'aurais un dossier rempli de facteurs de profit impressionnants et je n'aurais aucune idée de la représentativité de chacun d'entre eux. Tout auditer en même temps – y compris les échecs sur lesquels je n’ai jamais écrit d’article – est le seul moyen de connaître le taux de base réel. Sur 1 400 paires, 9 ont tenu le coup. C’est le nombre que je voudrais avant de risquer quoi que ce soit sur l’un d’entre eux, et il est beaucoup plus petit que ce que l’on pourrait croire lorsque l’on regarde isolément un beau résultat.
Avant de faire à nouveau confiance à un seul numéro de backtest, j'analyse le pire des cas risque de ruine et prélèvement maximum - parce qu'une paire franchissant la barre de cet audit vous dit qu'il a survécu à un examen minutieux, non pas que cela ne puisse pas encore mal se passer.
Que vérifier avant de faire confiance à vos propres archives de backtest
- Auditez tout, pas seulement votre meilleur parcours. Un seul grand écran GPU vous indique ce qu’une famille de stratégies peut faire. Un audit d’archives complètes vous indique votre tarif de base réel.
- Méfiez-vous d’un taux de victoire parfait associé à un énorme facteur de profit. La combinaison 75 % WR / 6,86 PF de BSBUSDT se lit comme plus fiable qu'un 98 %+ WR précisément parce qu'elle n'est pas d'une propreté suspecte.
- « Candidat » n'est pas « confirmé ». GOOD_FOR_DEEP_TEST signifie qu'un résultat a franchi la première barre, non pas qu'il a survécu au contrôle de stabilité sur plusieurs trimestres qui sépare un avantage réel d'un échantillon chanceux.
- Faites faire aux survivants des calculs négatifs avant de leur faire confiance. j'utilise risque de ruine et Survie du DCA sur tout ce qui efface l'audit avant de le qualifier de terminé.
→ Calculateur de risque de ruine · → Calculateur de survie DCA · → Calculateur de prélèvement maximum
FAQ
Que couvrait réellement cet audit backtest ?
Chaque fichier de résultats de backtest que j'avais sur le disque – pas une seule exécution, l'intégralité de l'archive. 14 925 fichiers contenant 152 484 enregistrements de backtest individuels, couvrant 1 400 paires de trading uniques dans plusieurs familles de stratégies, notamment range_bounce et volume_reversal. L'audit a revérifié chacun d'entre eux par rapport aux mêmes normes de viabilité que celles que j'utilise tout au long de ce blog.
Pourquoi si peu de couples ont-ils survécu ?
Parce que la plupart des résultats de backtest qui semblent bons en surface ne tiennent pas le coup une fois que vous appliquez des normes réelles : suffisamment de transactions pour signifier quelque chose, un facteur de profit et un taux de victoire qui ne sont pas le fruit du hasard sur un petit échantillon, et des résultats qui ne sont pas tranquillement étayés par une moyenne des perdants. Sur 152 484 enregistrements, seuls 269 ont franchi cette barre, et ces 269 enregistrements appartenaient à seulement 9 paires uniques sur les 1 400 testés. Un taux de survie de 0,64 % au niveau des paires n'est pas un bug dans le processus, c'est ce qui se produit lorsque vous arrêtez de compter la bobine des faits saillants et que vous comptez tout.
En quoi est-ce différent des articles « 85 millions de backtests sur un GPU » ?
Ces articles couvrent une grande exécution de GPU d'une seule famille de stratégies, sélectionnant environ 85 millions de combinaisons de paramètres jusqu'à une liste restreinte. Cet audit est différent : un examen complet des archives de chaque fichier, de chaque exécution et de chaque famille de stratégies que j'ai jamais produit, 14 925 fichiers et 152 484 enregistrements au total, pas le résultat d'une seule exécution. Les deux chiffres mesurent des choses différentes et ne doivent pas être additionnés, mais ils racontent la même histoire sous deux angles : la plupart de ce qui est backtesté ne résiste pas à un examen minutieux.
Qu’est-ce qui a fait qu’un disque soit considéré comme viable ?
La même norme que j'applique partout sur ce blog : suffisamment de transactions pour que les chiffres signifient quelque chose, un facteur de profit et un taux de gain qui survivent à la vérification plutôt qu'à un simple coup d'œil, et aucune dépendance cachée à la moyenne pour fabriquer un taux de gain. Les enregistrements qui échouaient à l'une de ces vérifications ne comptaient pas, c'est pourquoi 152 484 enregistrements étaient tombés à 269 viables avant même que le décompte des paires ne soit effectué.