Comment évaluer une stratégie de trading automatique?
-
- 3
- Qui a voté?
- 1201
- 0
Vous trouverez sur internet un grand nombre de systèmes de trading automatiques qui affichent une performance surhumaine en backtest. Mais le problème est qu’ils génèrent souvent des pertes immédiatement après leurs mises en production.
Plusieurs questions se posent en conséquence :
Je vais vous expliquer ce que vous devez vérifier pour savoir si une stratégie est robuste ou non. J’ai créé une batterie de tests pour vous permettre de valider votre stratégie avant de la lancer sur votre compte réel. Après quoi vous pourrez détecter si une stratégie est robuste au premier coup d’œil.
Voici un premier ensemble de sept contrôles visuels que vous pouvez faire assez rapidement en vous basant sur le résultat de votre backtest.
Vous pouvez commencer par regarder l’écart-type de vos résultats sur toute la durée de la stratégie. L’écart-type ne doit pas être trop important et il doit surtout être régulier tout au long de la stratégie. Cette régularité doit être indépendante des variations de marché.
Voici le résultat d’une simulation d’une stratégie présentant trop d’écart-type :
Cette stratégie offre une performance supérieure à 20 % mais avec plus de 30 % d’écart-type.
Voici le résultat d’une simulation d’une stratégie présentant un écart-type acceptable :
Cette stratégie offre une performance inférieure à la première mais avec beaucoup moins d’écart-type. Elle est donc moins risquée et sera très certainement plus profitable à long terme.
La première stratégie affiche une performance presque deux fois supérieure à la première mais elle présente un très grand écart-type. Cela traduit plus d’incertitude donc un plus grand risque.
L’essentiel des gains ne doit pas être concentré sur une petite durée de la période du backtest. Si vos gains sont concentrés sur une partie de votre backtest, c’est une preuve évidente de suroptimisation. Cela signifie que votre stratégie est suroptimisée sur une toute petite partie du marché qui a peu de chance de se reproduire dans l’avenir.
Voici le résultat d’une stratégie dont les gains sont trop concentrés sur une petite partie du marché :
Le backtest suivant montre que la stratégie génère des gains régulièrement tout au long de la période de test :
La répartition des gains pourra aussi être utilisée pour distinguer deux stratégies. Il vaut mieux choisir une stratégie moins profitable mais plus régulière.
Le « tracking error » se mesure par l’écart type de la différence de performance entre l’actif et son indice de référence. Il devrait être faible et positif pour une stratégie.
Dans la figure suivante, on voit que la forme de la courbe des gains suit celle de l’actif tradé. La différence de la performance entre la stratégie et l’actif est assez stable. On peut donc en déduire que le tracking error est acceptable.
Il faut toutefois préciser que certaines stratégies peuvent être décorrélées de leur actif notamment les stratégies de très court terme (scalping et intraday). Dans ce cas il pourrait être normal que votre stratégie soit plus impactée par la volatilité de l’actif que par sa tendance de fond.
Personnellement je préfère éviter les marchés trop volatiles même s’ils sont haussiers. Il est donc normal dans ce cas d’avoir un tracking error plus important.
Si le tracking error est proche de zéro, alors il faut se demander s’il ne serait pas moins risqué de prendre un tracker tel qu’un ETF et de faire du « buy and hold ».
En revanche, une stratégie ayant un tracking error proche de 0 avec un levier inférieur ou égale à un mais clôturant toutes ses positions le soir et le week-end pourrait être une bonne approche. Car dans ce cas, vous reproduisez la performance d’un actif tout en gardant vos liquidités disponibles chaque soir. Cela vous permeterait de maximiser l’allocation de votre capital et d’avoir plus de sécurité.
Les gains moyens devraient être supérieurs aux pertes moyennes. D’autre part, cela doit être aussi le cas pour le plus gros gain qui doit être supérieur à la plus grande perte.
En réalité le ratio gain / perte affiché par votre backtest n’est pas toujours pertinent. Si vous lancez une stratégie dont le nombre de trades perdants est trop importants à votre goût, vous pourriez être tenté de baisser vos stoploss. De cette manière, vous allez gonfler artificiellement votre taux de réussite. En contrepartie, votre risque va augmenter car lorsque vos stoploss seront touchés, ils généreront une plus grande perte.
Si on voulait pousser cette pratique à son paroxysme on pourrait carrément ne pas mettre de stoploss. Bien sûr, dans un marché très haussier, une telle configuration sera très gagnante jusqu’au jour vous les marchés se retournerons contre vous.
Dans l’exemple suivant, j’ai volontairement suroptimisé le taux de réussite d’une stratégie en augmentant le positionnement des stoploss à 1000 points sur le DAX :
La stratégie affiche un taux de réussite à 100 % pour 23 positions ouvertes. Ce résultat semble exceptionnel mais si vous regardez la courbe des gains quelque chose devrait vous sauter aux yeux : on voit que parfois avant de gagner, une position génère une énorme perte potentielle. Cela fait apparaitre des creux sur la courbe des gains.
Maintenant voyons ce qui se serait passé si j’avais lancé cette stratégie sur mon compte réel après quelques semaines :
La stratégie n’affiche qu’une seule perte mais de 562 points. Comparé aux 15 points de gains moyens. Avec une telle configuration, une seule perte peut dévaster la quasi-totalité de la performance affichée d’une stratégie.
On voit bien l’effet d’un seul trade perdant sur l’ensemble des gains générer par la stratégie :
Vous devez donc rester méfiant à l’égard du ratio gain / perte affiché par votre backtest. Celui-ci ne traduira pas toujours la réalité. Le véritable ratio de gain / perte doit se calculer à partir du positionnement de votre stoploss. Il faudra éventuellement intégrer à votre stoploss 1 point de slippage.
Attention car si vous conservez votre position le weekend, dans le cas où vous n’avez pas de stop garanti, la plus grande perte possible ne peut pas être connu à l’avance.
Pour être robuste une stratégie doit être équipée d’un système de sécurisation des gains. Ce dispositif consiste à placer automatiquement un ordre de vente lorsque les gains latents atteignent un certain niveau.
Vous trouverez l’algorithme et le code complet de la sécurisation des gains dans mon livre « Trading Automatique avec Prorealtime » au chapitre « Algorithme de sécurisation des gains ».
De cette manière, si le prix de l’actif venait à baisser avant d’atteindre l’objectif initial, la position resterait tout de même gagnante. (Sauf en cas de gap ou de flash krach)
Il faut donc vérifier si la stratégie sécurise bien ses gains en regardant si des gains latents ne se transforment pas en pertes ou en faibles gains. On peut faire cette vérification visuellement car on voit apparaître des pics sur la courbe des gains devenant des pertes au niveau du résultat de la stratégie.
En principe, dans le cas d’une stratégie de continuation de tendance, le niveau de sécurisation des gains doit être supérieur ou égal au niveau du stoploss en termes de points. Donc si vous mettez votre stoploss à 50 points, vous devrez commencer à sécuriser vos gains à partir de 50 points au minimum.
Personnellement je préfère ajouter quelques points en plus. C’est à dire que si je place mon stoploss à 50 points, je commencerais à sécuriser mes gains à partir de 55 points de profit latent.
Le temps dans le marché est le temps qui s’écoule entre l’ouverture et la fermeture d’une position. Cette durée doit être raisonnable. Si le temps dans le marché est supérieur à une journée alors il faut intégrer les frais overnight en les déduisant de la performance affichée.
Il est très important de suivre l’évolution du temps dans le marché de la stratégie. Si le temps dans le marché devient de plus en plus long, cela peut être un signe de suroptimisation. Le temps dans le marché doit aussi être surveiller durant l’exécution de la stratégie en trading réel.
Comme on l’a fait pour la courbe des gains on peut analyser l’écart-type du temps dans le marché sur toute la période du backtest.
L’écart-type du temps dans le marché ne devrait pas être trop important. Dans le cas contraire, cela signifiait que certaines positions ont un temps très court alors que d’autres auraient un temps très long. Ce phénomène pourrait traduire un problème de sous-optimisation de votre stratégie.
Voici un exemple d’une stratégie présentant trop d’écart-type sur son temps dans le marché :
Le temps dans le marché du graphique précédent est beaucoup trop irrégulier. Cela traduit un problème de sous-optimisation donc la performance de cette stratégie est uniquement due à celle du marché. Donc quand le marché se retournera à la baisse, cette stratégie deviendra perdante.
La variation du temps dans le marché peut donner une indication sur le fait qu’une stratégie soit suroptimisée ou sous-optimisée. Celui-ci devrait être stable du début à la fin du backtest.
Exemple d’une stratégie avec une augmentation du temps dans le marché :
Ici on voit que le temps dans le marché devient de plus en plus long. La stratégie a de plus en plus de mal à atteindre ses objectifs de prix. Dans ce cas de figure, soit la stratégie est sous-optimisée soit la stratégie est en train de devenir obsolète.
Si l’augmentation du temps dans le marché survient quand le marché entre dans un range ou quand il y a un affaiblissement de la tendance de fond alors on peut conclure que la stratégie est sous-optimisée.
Si non, il est possible que la stratégie soit en train de devenir obsolète et que le signal qu’elle donne est désormais ignoré par le marché. J’aborderai plus en détail l’obsolescence des stratégies de trading au chapitre « Ma stratégie est-elle devenue obsolète ? » de mon livre.
Le temps en difficulté est le temps durant lequel une position est en perte latente. On observe souvent des épisodes de reflux durant une position de swing trading ou intraday et cela est normal. Il y a cependant plusieurs choses à regarder par rapport à cela.
Le plus important est la variation du temps en difficulté au cours de votre backtest. Si le temps en difficulté est de plus en plus long, cela peut traduire un risque de suroptimisation ou que votre stratégie est en train de devenir obsolète. Vous devez aussi surveiller et comparer l’évolution temps en difficulté en trading réel par rapport à votre backtest.
Si vous constatez que vos positions deviennent systématiquement en perte latente juste après leur ouverture, alors cela veut peut-être dire que les autres traders attaquent vos points d’entrés dans le sens inverse.
Voici l’exemple d’un trade positif mais dont le temps en difficulté est beaucoup trop important :
Durant toute la durée de ce trade, le système était en perte latente et n’aurait pas été en mesure de couper cette position sans concrétiser une perte. Ce trade est gagnant mais c’est un mauvais trade.
Votre stratégie doit générer des gains avec peu d’écart-type, ils doivent être réguliers et corrélés à l’actif tradé. Le plus important n’est pas la performance mais la stabilité des résultats. Si votre stratégie évolue en dents de scie alors il y a un risque de suroptimisation ou de sous-optimisation.
Voici un petit résumé des sept points sur-lesquels vous devriez être attentif lorsque vous analysez un backtest - Les sept points d’attentions de l’analyse d’une stratégie :
Si vous souhaitez aller plus loin, Vous trouverez beaucoup plus de tests et de détail dans mon livre « Trading Automatique avec Prorealtime » en vente sur mon site web.
Dans le prochain article, je vous montrerai une batterie de stress-tests qui vous permettront de valider la robustesse de votre système de trading automatique.
Plusieurs questions se posent en conséquence :
- Comment savoir si une stratégie est robuste ou suroptimisée ?
- Comment être sure qu’une stratégie ne va pas devenir immédiatement perdante après sa mise en production ?
- Existe-t-il une manière d’évaluer la robustesse d’une stratégie de trading automatique ?
Je vais vous expliquer ce que vous devez vérifier pour savoir si une stratégie est robuste ou non. J’ai créé une batterie de tests pour vous permettre de valider votre stratégie avant de la lancer sur votre compte réel. Après quoi vous pourrez détecter si une stratégie est robuste au premier coup d’œil.
Voici un premier ensemble de sept contrôles visuels que vous pouvez faire assez rapidement en vous basant sur le résultat de votre backtest.
1. Écart-type globale de votre stratégie
Vous pouvez commencer par regarder l’écart-type de vos résultats sur toute la durée de la stratégie. L’écart-type ne doit pas être trop important et il doit surtout être régulier tout au long de la stratégie. Cette régularité doit être indépendante des variations de marché.
Écart-type trop important
Voici le résultat d’une simulation d’une stratégie présentant trop d’écart-type :
Cette stratégie offre une performance supérieure à 20 % mais avec plus de 30 % d’écart-type.
Écart-type acceptable
Voici le résultat d’une simulation d’une stratégie présentant un écart-type acceptable :
Cette stratégie offre une performance inférieure à la première mais avec beaucoup moins d’écart-type. Elle est donc moins risquée et sera très certainement plus profitable à long terme.
La première stratégie affiche une performance presque deux fois supérieure à la première mais elle présente un très grand écart-type. Cela traduit plus d’incertitude donc un plus grand risque.
2. Répartition des gains
L’essentiel des gains ne doit pas être concentré sur une petite durée de la période du backtest. Si vos gains sont concentrés sur une partie de votre backtest, c’est une preuve évidente de suroptimisation. Cela signifie que votre stratégie est suroptimisée sur une toute petite partie du marché qui a peu de chance de se reproduire dans l’avenir.
Répartition des gains concentrés
Voici le résultat d’une stratégie dont les gains sont trop concentrés sur une petite partie du marché :
Répartition des gains dispersés
Le backtest suivant montre que la stratégie génère des gains régulièrement tout au long de la période de test :
La répartition des gains pourra aussi être utilisée pour distinguer deux stratégies. Il vaut mieux choisir une stratégie moins profitable mais plus régulière.
3. Mesure du Tracking Error
Le « tracking error » se mesure par l’écart type de la différence de performance entre l’actif et son indice de référence. Il devrait être faible et positif pour une stratégie.
Tracking error d’une stratégie
Dans la figure suivante, on voit que la forme de la courbe des gains suit celle de l’actif tradé. La différence de la performance entre la stratégie et l’actif est assez stable. On peut donc en déduire que le tracking error est acceptable.
Il faut toutefois préciser que certaines stratégies peuvent être décorrélées de leur actif notamment les stratégies de très court terme (scalping et intraday). Dans ce cas il pourrait être normal que votre stratégie soit plus impactée par la volatilité de l’actif que par sa tendance de fond.
Personnellement je préfère éviter les marchés trop volatiles même s’ils sont haussiers. Il est donc normal dans ce cas d’avoir un tracking error plus important.
Si le tracking error est proche de zéro, alors il faut se demander s’il ne serait pas moins risqué de prendre un tracker tel qu’un ETF et de faire du « buy and hold ».
En revanche, une stratégie ayant un tracking error proche de 0 avec un levier inférieur ou égale à un mais clôturant toutes ses positions le soir et le week-end pourrait être une bonne approche. Car dans ce cas, vous reproduisez la performance d’un actif tout en gardant vos liquidités disponibles chaque soir. Cela vous permeterait de maximiser l’allocation de votre capital et d’avoir plus de sécurité.
4. Ratio gains moyens / perte moyenne
Les gains moyens devraient être supérieurs aux pertes moyennes. D’autre part, cela doit être aussi le cas pour le plus gros gain qui doit être supérieur à la plus grande perte.
En réalité le ratio gain / perte affiché par votre backtest n’est pas toujours pertinent. Si vous lancez une stratégie dont le nombre de trades perdants est trop importants à votre goût, vous pourriez être tenté de baisser vos stoploss. De cette manière, vous allez gonfler artificiellement votre taux de réussite. En contrepartie, votre risque va augmenter car lorsque vos stoploss seront touchés, ils généreront une plus grande perte.
Si on voulait pousser cette pratique à son paroxysme on pourrait carrément ne pas mettre de stoploss. Bien sûr, dans un marché très haussier, une telle configuration sera très gagnante jusqu’au jour vous les marchés se retournerons contre vous.
Ratio gain/perte trop faible
Dans l’exemple suivant, j’ai volontairement suroptimisé le taux de réussite d’une stratégie en augmentant le positionnement des stoploss à 1000 points sur le DAX :
La stratégie affiche un taux de réussite à 100 % pour 23 positions ouvertes. Ce résultat semble exceptionnel mais si vous regardez la courbe des gains quelque chose devrait vous sauter aux yeux : on voit que parfois avant de gagner, une position génère une énorme perte potentielle. Cela fait apparaitre des creux sur la courbe des gains.
Effet d’un ratio gain/perte trop faible
Maintenant voyons ce qui se serait passé si j’avais lancé cette stratégie sur mon compte réel après quelques semaines :
La stratégie n’affiche qu’une seule perte mais de 562 points. Comparé aux 15 points de gains moyens. Avec une telle configuration, une seule perte peut dévaster la quasi-totalité de la performance affichée d’une stratégie.
On voit bien l’effet d’un seul trade perdant sur l’ensemble des gains générer par la stratégie :
Vous devez donc rester méfiant à l’égard du ratio gain / perte affiché par votre backtest. Celui-ci ne traduira pas toujours la réalité. Le véritable ratio de gain / perte doit se calculer à partir du positionnement de votre stoploss. Il faudra éventuellement intégrer à votre stoploss 1 point de slippage.
Attention car si vous conservez votre position le weekend, dans le cas où vous n’avez pas de stop garanti, la plus grande perte possible ne peut pas être connu à l’avance.
5. Sécurisation des gains
Pour être robuste une stratégie doit être équipée d’un système de sécurisation des gains. Ce dispositif consiste à placer automatiquement un ordre de vente lorsque les gains latents atteignent un certain niveau.
Vous trouverez l’algorithme et le code complet de la sécurisation des gains dans mon livre « Trading Automatique avec Prorealtime » au chapitre « Algorithme de sécurisation des gains ».
De cette manière, si le prix de l’actif venait à baisser avant d’atteindre l’objectif initial, la position resterait tout de même gagnante. (Sauf en cas de gap ou de flash krach)
Il faut donc vérifier si la stratégie sécurise bien ses gains en regardant si des gains latents ne se transforment pas en pertes ou en faibles gains. On peut faire cette vérification visuellement car on voit apparaître des pics sur la courbe des gains devenant des pertes au niveau du résultat de la stratégie.
En principe, dans le cas d’une stratégie de continuation de tendance, le niveau de sécurisation des gains doit être supérieur ou égal au niveau du stoploss en termes de points. Donc si vous mettez votre stoploss à 50 points, vous devrez commencer à sécuriser vos gains à partir de 50 points au minimum.
Personnellement je préfère ajouter quelques points en plus. C’est à dire que si je place mon stoploss à 50 points, je commencerais à sécuriser mes gains à partir de 55 points de profit latent.
6. Temps dans le marché
Le temps dans le marché est le temps qui s’écoule entre l’ouverture et la fermeture d’une position. Cette durée doit être raisonnable. Si le temps dans le marché est supérieur à une journée alors il faut intégrer les frais overnight en les déduisant de la performance affichée.
Il est très important de suivre l’évolution du temps dans le marché de la stratégie. Si le temps dans le marché devient de plus en plus long, cela peut être un signe de suroptimisation. Le temps dans le marché doit aussi être surveiller durant l’exécution de la stratégie en trading réel.
Écart-type du temps dans le marché
Comme on l’a fait pour la courbe des gains on peut analyser l’écart-type du temps dans le marché sur toute la période du backtest.
L’écart-type du temps dans le marché ne devrait pas être trop important. Dans le cas contraire, cela signifiait que certaines positions ont un temps très court alors que d’autres auraient un temps très long. Ce phénomène pourrait traduire un problème de sous-optimisation de votre stratégie.
Voici un exemple d’une stratégie présentant trop d’écart-type sur son temps dans le marché :
Le temps dans le marché du graphique précédent est beaucoup trop irrégulier. Cela traduit un problème de sous-optimisation donc la performance de cette stratégie est uniquement due à celle du marché. Donc quand le marché se retournera à la baisse, cette stratégie deviendra perdante.
Augmentation du temps dans le marché
La variation du temps dans le marché peut donner une indication sur le fait qu’une stratégie soit suroptimisée ou sous-optimisée. Celui-ci devrait être stable du début à la fin du backtest.
Exemple d’une stratégie avec une augmentation du temps dans le marché :
Ici on voit que le temps dans le marché devient de plus en plus long. La stratégie a de plus en plus de mal à atteindre ses objectifs de prix. Dans ce cas de figure, soit la stratégie est sous-optimisée soit la stratégie est en train de devenir obsolète.
Si l’augmentation du temps dans le marché survient quand le marché entre dans un range ou quand il y a un affaiblissement de la tendance de fond alors on peut conclure que la stratégie est sous-optimisée.
Si non, il est possible que la stratégie soit en train de devenir obsolète et que le signal qu’elle donne est désormais ignoré par le marché. J’aborderai plus en détail l’obsolescence des stratégies de trading au chapitre « Ma stratégie est-elle devenue obsolète ? » de mon livre.
7. Temps en difficulté
Le temps en difficulté est le temps durant lequel une position est en perte latente. On observe souvent des épisodes de reflux durant une position de swing trading ou intraday et cela est normal. Il y a cependant plusieurs choses à regarder par rapport à cela.
Le plus important est la variation du temps en difficulté au cours de votre backtest. Si le temps en difficulté est de plus en plus long, cela peut traduire un risque de suroptimisation ou que votre stratégie est en train de devenir obsolète. Vous devez aussi surveiller et comparer l’évolution temps en difficulté en trading réel par rapport à votre backtest.
Si vous constatez que vos positions deviennent systématiquement en perte latente juste après leur ouverture, alors cela veut peut-être dire que les autres traders attaquent vos points d’entrés dans le sens inverse.
Voici l’exemple d’un trade positif mais dont le temps en difficulté est beaucoup trop important :
Durant toute la durée de ce trade, le système était en perte latente et n’aurait pas été en mesure de couper cette position sans concrétiser une perte. Ce trade est gagnant mais c’est un mauvais trade.
Votre stratégie doit générer des gains avec peu d’écart-type, ils doivent être réguliers et corrélés à l’actif tradé. Le plus important n’est pas la performance mais la stabilité des résultats. Si votre stratégie évolue en dents de scie alors il y a un risque de suroptimisation ou de sous-optimisation.
Résumé sur l’évaluation de la robustesse d’une stratégie
Voici un petit résumé des sept points sur-lesquels vous devriez être attentif lorsque vous analysez un backtest - Les sept points d’attentions de l’analyse d’une stratégie :
- Votre stratégie doit générer des gains avec peu d’écart-type.
- Le plus important n’est pas nécessairement la performance affichée mais plutôt la régularité du résultat.
- Si l’évolution de vos profits est trop erratique, alors il y a peut-être un problème de suroptimisation ou de sous-optimisation.
- Le ratio gains moyens / pertes moyennes devrait être strictement supérieur à 1.
- Votre système doit être équipé d’un dispositif de sécurisation des gains.
- Le temps dans le marché devrait être régulier au cours de l’exécution de votre stratégie.
- Le Temps en difficulté doit être le plus souvent possible strictement inférieur au temps durant lequel une position est en gain latent.
Si vous souhaitez aller plus loin, Vous trouverez beaucoup plus de tests et de détail dans mon livre « Trading Automatique avec Prorealtime » en vente sur mon site web.
Dans le prochain article, je vous montrerai une batterie de stress-tests qui vous permettront de valider la robustesse de votre système de trading automatique.
