Quiero comenzar con el número, porque es la razón por la que escribo esto. El factor de beneficio de LLY era 1.156. No 1.156. Mil ciento cincuenta y seis. Si ha pasado algún tiempo realizando pruebas retrospectivas, ya sabrá lo que significa ese número: no "encontré una ventaja increíble", sino "encontré un error o una coincidencia y aún no lo he detectado".
No lo había pillado todavía. Estaba en un archivo de anulaciones en el que confié durante meses antes de ejecutar una pasada de revalidación adecuada: estabilidad temporal de 2 años, trimestre a trimestre, en lugar de un número agregado calculado para toda la ventana. El PF de LLY no bajó simplemente. Todo se redujo a 1,92, y el desglose trimestral mostró exactamente por qué: 13 en el primer trimestre, decayendo a 0,7 por el cuarto. La cifra agregada fue un promedio arrastrado hacia arriba por un fenómeno extraño a principios del trimestre en una muestra pequeña. Cuando alguien hubiera querido negociarlo en vivo, la ventaja ya estaba muerta.
LLY no fue la única
Una vez que dejé de confiar en los números agregados únicos, el resto de la lista corta no se mantuvo mucho mejor. ZRO pasó de un factor de beneficio de 6.55 a 0,88 bajo la misma validación, y 0,88 significa neto negativo. No "borde más pequeño". Sin ventaja, una vez medido honestamente. MRVL, LAB, GOOGL y AVAAI todos fallaron de la misma manera: bordes falsos que se remontan a pequeñas muestras seleccionadas, el tipo de resultado que se obtiene cuando una ventana de backtest contiene un puñado de operaciones que salieron todas por el mismo camino por casualidad.
Siete candidatos pasaron a ese pase de validación. Tres salieron por el otro lado.
| Símbolo | FP | WR | Vientos alisios | Veredicto |
|---|---|---|---|---|
| MEGAUSDT | 3.31 | 98,0% | 2.000 | Estable, resistente > tren |
| EWJUSDT | 1.41 | 56,0% | 124 | Real, demasiado pequeño para importar mucho |
| NAORIS | 1.17 | 87,0% | 2.000 | Positivo pero en decadencia |
| LYLY | 1156 → 1,92 | — | — | Falso, borde muerto por el cuarto trimestre |
| ZRO | 6,55 → 0,88 | — | — | Falso, neto −$177 |
Cómo se ve una verdadera ventaja
MEGAUSDT es en quien confío, y la razón no es sólo que su factor de beneficio (3,31) sea alto. Muchos bordes falsos también tienen altos factores de ganancias: el de LLY fue más de 300 veces mayor. Lo que hace que MEGA sea diferente es la dirección en la que se movió cuando lo separé de la muestra: el PF entrenado fue 1,66, el PF que se resistió llegó a 3.38. consiguió mejor en datos que no había visto. Eso es lo opuesto a lo que hace un resultado sobreajustado, y en 2000 operaciones y 5 plantillas estables se mantuvo de la misma manera en todos los regímenes que verifiqué, excepto en una porción mixta de VOL/BAJO. Es el único par en este lote que he marcado nivel_confianza ALTO.
EWJ es el caso pequeño y honesto. Un factor de beneficio de 1,41 no es emocionante, pero es estable en los cuatro trimestres en operaciones reales; simplemente no tiene el tamaño de muestra ni la liquidez para ser más que una nota a pie de página. NAORIS es el que me preocupa un poco: PF 1,17 suena bien hasta que miras la tendencia trimestral: 1,14, luego 1,33, luego 1,25, luego 0,98. Todavía en el lado correcto del punto de equilibrio, pero la línea apunta a cero, y no estoy agregando tamaño a algo que está decayendo activamente solo porque el número de este trimestre sigue siendo positivo.
Lo que reviso ahora antes de confiar en un factor de beneficio
No el número agregado. El desglose trimestre a trimestre, primero. Un backtest de dos años con un único PF calculado en toda la ventana puede ocultar una ventaja que desapareció hace dieciocho meses y que sólo sigue siendo positiva porque uno de los primeros trimestres fue lo suficientemente fuerte como para arrastrar el promedio hacia arriba. LLY es la versión extrema de eso: PF=1156 nunca fue "una ventaja", fue un cuarto de suerte usando un disfraz.
La segunda verificación es la resistencia versus el entrenamiento y en qué dirección se mueve. MEGA mejoró con la muestra. Todo lo que empeoró en la muestra está fuera de la lista, sin importar qué tan bueno se viera el número del titular al publicarlo. Analizo cada afirmación sobre el factor de ganancias, la mía o la de cualquier otra persona, a través de la calculadora del factor de beneficio con los recuentos comerciales reales antes de dejar que un solo número agregado me convenza de algo, y compruebo lo que una serie de pérdidas contra esa "ventaja" realmente afectaría a una cuenta con el calculadora de riesgo de ruina.
Qué comprobar antes de confiar en el factor de beneficio de un backtest
- Divídelo en cuartos antes de mirar el agregado. Un PF promedio de más de dos años puede ocultar un borde que ha estado muerto durante dieciocho meses.
- Compruebe en qué dirección se mueve la resistencia frente al entrenamiento. Una ventaja real debería mantenerse o mejorar fuera de la muestra. LLY y ZRO empeoraron dramáticamente.
- Desconfía de las cifras absurdas por principio. Un PF superior a aproximadamente 5-10 en datos reales del mercado es una razón para buscar un artefacto de muestra pequeña, no una razón para celebrar.
- Sopesar el tamaño de la muestra frente a la liquidez. EWJ es real en 124 operaciones, pero demasiado ilíquido para importar. NAORIS tiene 2.000 operaciones pero una tendencia visiblemente decreciente. Ninguno de los números por sí solos cuenta la historia completa.
→ Calculadora de factor de beneficio · → Calculadora de riesgo de ruina
Preguntas frecuentes
¿Cómo puede un backtest mostrar un factor de beneficio de 1.156?
Casi siempre una pequeña muestra. Un puñado de operaciones afortunadas en una ventana estrecha pueden producir un factor de beneficio que parece astronómico porque apenas hay operaciones perdedoras por las que dividir. LLY mostró PF=1156 en una pasada temprana, y el número no era un error, solo estaba midiendo una pequeña porción de la historia seleccionada cuidadosamente que iba en una dirección. La solución no es una fórmula mejor, sino más datos durante más tiempo.
¿Qué comprueba realmente la validación de estabilidad temporal de 2 años?
Divide dos años de resultados en trimestres y vuelve a calcular el factor de beneficio en cada uno por separado, en lugar de confiar en un único número calculado para todo el período. Una ventaja real se mantiene de un trimestre a otro. El PF trimestral de LLY bajó de 13 en el primer trimestre a 0,7 en el cuarto; el PF agregado = 1156 era un promedio dominado por un fenómeno a principios del trimestre, y la ventaja ya estaba muerta cuando alguien hubiera negociado con él en vivo.
¿Qué pares realmente sobrevivieron a la validación y por qué?
Tres, de una lista corta que incluía a LLY y ZRO, entre otros. MEGAUSDT pasó limpiamente: PF 3,31 en 2000 operaciones, estable en 5 plantillas, y su PF del período de espera (3,38) en realidad fue más alto que su PF de entrenamiento (1,66), la dirección opuesta a la que se mueve una ventaja falsa. EWJUSDT es real pero pequeño: PF 1,41, estable en los 4 trimestres, pero solo 124 operaciones y muy baja liquidez, por lo que apenas mueve la aguja. NAORIS es a quien estoy observando, sin confiar: PF 1,17 con PF trimestral deslizándose de 1,14 a 1,33 a 1,25 a 0,98; sigue siendo positivo, pero la línea de tendencia apunta a cero.
¿Qué debo comprobar antes de confiar ahora en el factor de beneficio de un backtest?
El desglose trimestre por trimestre antes del número agregado. Un único factor de beneficio calculado a lo largo de dos años puede ocultar una ventaja que desapareció hace 18 meses y que está siendo apuntalada por un fuerte primer trimestre. Divido a cada candidato en cuartos, verifico la dirección en la que se está moviendo (no solo si actualmente es positivo) y vuelvo a ejecutar por separado el entrenamiento de resistencia versus entrenamiento para asegurarme de que la ventaja se fortalezca con la muestra, no se debilite.