Backtests sur ETF : pertinence des backtests sur ETF/tracker ?

Bonsoir,
Merci pour vos différentes réponses.

J’ai donc revu ma copie:

Sur PEA la stratégie long/short ne peut pas se faire sur actifs corrélés du même secteur car les ETF short sont rare. J’ai tout de même conservé l’ETF short dans le bassin.

Pour avoir fait varier plusieurs fois les degrés de libertés, je pense être sorti désormais de l’overfitting car ca ne remet plus en cause de façon flagrante le backtest.

Par rapport à la période, chaque secteur a au moins un historique depuis 2002 (sauf pour l’ETF World CE8, il n’existe pas d’historique ETF world avant 2009).

Concernant le biais du survivant et look-ahead je ne vois pas trop comment agir sur ces points via ETF360.

Enfin pour tester la robustesse du backtest, j’ai comme préconisé par CuiBono inséré quelques "canards boiteux" (CJ1 et ALAT) qui effectivement font chuter le TCAM de 2% ce qui ne me parait pas catastrophique. Par contre dois-je les conserver dans mon bassin de départ ou c’est juste une manière de vérifier la solidité du backtest?

CuiBono a écrit :

Egalement, si vous avez un bassin de départ de 10 ETF, vous faites 11 backtests : 1 avec les 10 ETFs de départ, et 10 autres en enlevant à chaque fois un des 10 ETFs pour voir si le résultat initial n’est pas du à un outlier.

Les résultats sont intéressants, la stratégie dépend surtout des ETF suivants:
Gain en score si suppression de CJ1 ou ALAT, où le score peut monter à 36.
Perte en score si suppression de AUT, INS, SHC (short), STR et STP, où le score peut chuter à 24 (perte de 2% de TCAM et augmentation perte max de 3%) mais ça ne me parait pas dramatique.

Par ailleurs, est-il utile de diversifier autant le bassin de départ?

Merci pour vos avis éclairés.

Bassin ETF


Scoring/Rebalance


Backtest


Contribution

Par curiosité, la performance négative reste-t-elle néanmoins supérieure au max drawdown du backtest ? A vérifier également si le recovery se fait plus rapidement que celui définit par le backtest.

Si c’est le cas, tout reste dans les clous et la performance ne devrait pas être une surprise.

En revanche, d’accord avec vous sur l’optimisation à outrance ; les derniers backtests à l’époque où j’étais membre (mai  juin) illustraient bien cette tendance ; y compris en ajoutant des ETF leveraged.

Bonjour,

En y réfléchissant bien, la méthode ETF360 surpondère les périodes longues puisque les écarts de rendement y sont bien plus importants que sur des périodes courtes.

Il y a également d’autres problèmes, mais sur ce point, je suis complètement d’accord avec vous : c’est incohérent*.

Personnellement, une des méthodes que j’utilise pour du ranking multi-période est de faire la moyenne (sur toutes les périodes) d’un momentum standardisé sur la cross section des instruments.

Par "momentum standardisé sur la cross section", j’entends par exemple un Z-Score** calculé à partir des momentums bruts.

Amicalement,

R.

PS: *, pas forcément délirant dans l’absolu toutefois, mais incohérent sur le principe de vouloir "ranker".
     **,  je n’utilise pas un Z-Score, mais l’idée est la même.

Bonsoir à tous,

Merci à Evident (et aux autres) pour ces contributions intéressantes.

EviDent a écrit :

En y réfléchissant bien, la méthode ETF360 surpondère les périodes longues puisque les écarts de rendement y sont bien plus importants que sur des périodes courtes. Ainsi un scoring 50% Rendement court terme 50% Rendement long terme surpondère fortement le long terme in fine.

Je crois que je vous suis, mais dans ce cas … pourquoi ne pas simplement baisser la pondération que vous donnez au rendement longue durée que vous estimez surpondéré ? Dans tous les cas, ce qui est intéressant je pense c’est que le Backtest fonctionne sur une longue période. Pour moi c’est cela qui indique la « bonne » pondération. Théoriquement je comprends que vous préfèreriez un TCAM (rendement annualisé) pour tous les rendements. Personnellement je n’ai jamais vu cela sur les outils que je connais, non "client lourd".

EviDent a écrit :

ETFReplay (sur lequel j’ai réalisé tous mes backtests, et donc repris le scoring). Je n’ai malheureusement plus d’abonnement pour avoir accès à la page explicative sur la méthode de scoring

J’avoue que j’avais trouvé particulièrement gonflé de faire payer pour accéder à la FAQ. Ces américains sont très forts ! Les méthodes de scoring sont effectivement différentes sur tous les outils de simulation. C’est probablement vrai pour toutes les simulations. L’important est de bien comprendre le mécanisme je pense. Mais vous avez raison, j’avais remarqué que ce n’était pas la même chose.

Ocedar a écrit :

pourquoi les bassins sont limités à si peu d’ETF ? Pourquoi ne pas sortir la sélection du bassin de l’équation, et prendre un bassin "tous ETF côtés sur Euronext", par exemple ?

Bonne question. Je dirais que 1 – parce que ça ne marche pas (j’avais essayé avec un autre site de Backtest qui n’existe plus aujourd’hui) 2 – parce que on va alors avoir 30 ETF SP&500 et 15 ETF CAC40 en bassin (j’exagère un peu) et donc le risque de se retrouver investi en CAC40 uniquement pour le peu que celui-ci soit sélectionné par le scoring. Donc pas de diversification au final, même  avec disons 5 ETF « différents » investis.

Ocedar a écrit :

Questions de néophyte, pour bien comprendre

Pour les néophytes, je reçois la newsletter de cafedelabourse et ils ont sorti un e-book gratuit sur les ETF que j’ai trouvé très bien, d’autant que Amazon.fr ne regorge pas vraiment d’ouvrages d’investissement ETF en français …

Bonne soirée !

Bonjour Montechristo,

Montechristo a écrit :

il faut réduire au maximum le nombre de paramètres/règles.

Je suis assez d’accord avec votre raisonnement. On avait déjà parlé du « curve fitting » qui est un effet de bord du backtest. Je crois que les Backtests dont il est question dans cette fileétaient plutôt «légers » en paramètres (ETFreplay, ETF360 … etc) en comparaison avec la programmation des clients lourds, macro excel ou au pire … du high frequency trading !

Justement, prenons les extrêmes :
-    Le high frequency trading, avec en prenant votre exemple, une quasi infinité de degrés de liberté des algorithmes (fréquence au ms, grande complexité …) est connu pour être très rentable
-    Le Buy and Hold, avec 0 degrés de liberté (ou 1 ? ), n’est lui « souvent » pas plus rentable que le suivi de tendance « simple »

Ce qui je veux dire, sans vous contredire à aucun moment, c’est que le danger du curve fitting est évident, mais que la dichotomie simple = mieux, complexe = moins bien n’est pas si nette pour moi. Je fais du suivi de tendance avec backtests simples, reblance 1-2 mois depuis qqs années et je suis très content. Quant à l’analyse « value » et autres étude macro-économiques … combien de degrés de liberté pour un cerveau humain ?

L’important je pense … c’est de comprendre ce qu’on fait, sa stratégie, et pourquoi celle-là et pas une autre.

Amicalement,

Bonjour,

1 an plus tard…. retour d’expérience sur la stratégie de suivi de mes backtests ETF360 sur mon CTO.

J’ai suivi le backtest que je présentais en début de fil de discussion jusqu’en avril. Résultat +12,84%

De mai à août, j’ai suivi une v2 proche de la v1. Un peu plus optimisée. Résultat -4,68%

À partir de septembre, j’ai suivi une nouvelle stratégie V3 ayant donné des résultats très importants sur les 12 dernières années. Scoring de 90% (TCAM de 32%) sur etf360. Résultat -19,89%.

Bilan 2015 :
V1 puis V2 puis V3, les "backtest" en mode suivi ont fait -6.26% et mon compte en réél à fait -11,73%
Je n’ai pas encore les bilans des V1 et V2 individuellement. Je sais que la V3 à fait +26,75% grâce à un début d’année 2015 plus rémunérateur que la V1 et V2 qui je pense seront en négatif en 2015.

Je suis plutôt content de cette première année. Certes j’ai perdu de l’argent, car j’ai subi la perte max des 12 dernières années sur ma stratégie v2 (août2015. impact de la double dévaluation de la chine. La v1 a subi la même perte, tandis que la V3 faisait +7%) puis la seconde plus grosse perte max des 12 dernières années -6% sur ma dernière stratégie V3 (la première quinzaine de décembre, le système m’a demandé d’acheter… du pétrole… L’analyse fondamentale n’était pas à l’achat, mais j’ai décidé d’appliquer à la lettre la stratégie des backtests). Enfin, j’ai subi, ce jour, une perte de -3,2% en vendant le 1er janvier 2016 alors que le système était à +1,5% au 30 décembre 2015…

Alors vous allez me dire, mais pourquoi est-il content ? Je suis content, car :
- j’ai validé que les backtests ETF sont bien plus stables et réalistes que les backtests sur le Forex. Je comprends pourquoi j’ai perdu de l’argent et ce n’est pas à cause de l’arnaque organisé des brokers.
- j’ai trouvé une stratégie qui me semble prometteuse,
- j’ai gagné en expérience.

Actuellement, mon principal problème est la gestion des décalages dans les prises de position entre le backtest et la réalité. Cela fait écho à l’échange que j’ai eu avec Roro au début de ce fil de discussion.

roro a écrit :

Re,
…je vais insister sur :
Dans le cas particulier de cette file, sur le papier (ou sur l’écran :-)), vous aurez des performances liées à un rebalancement irréaliste et rigide.
Dans la "vraie" vie:
- En Janvier, vous n’allez pas pouvoir rebalancer le 1er, parce que vous allez être invité chez des amis
- En Février, vous n’allez pas pouvoir rebalancer le 1er ni le 2nd, parce que votre conjoint/conjointe aura besoin de vous toute la journée
- En Mars, vous allez enfin pouvoir rebalancer le 1er, mais par rapport au cours de rebalancement de votre backtest, il y aura 3% d’écart (vécu personnellement, en ma faveur)
- En Avril, vous n’allez quand même pas investir 100% en actions Japon, alors que depuis une semaine tous les journaux ne parlent que de l’explosion nucléaire sur le site de Fukushima et que le Nikkei dévisse séance sur séance
- …
J’ai caricaturé, mais ces accumulations de différences feront que les performances que vous obtiendrez seront du même ordre, mais pas forcément comparables (i.e., il pourrait y avoir plusieurs points de pourcentage de différence).
Les backtests testent les idées, les résultats en temps réel testent l’investisseur :-) !
…

smn a écrit :

…
@roro : QUEL BONHEUR de lire votre réponse et mise en garde ! J’ai donc le contrôle sur le décalage de résultats. C’est tellement rassurant.
Juste une remarque sur le Forex. Lorsque l’on suit ce type de stratégie, ce n’est pas un problème humain qui fait un gain ou une perte, mais un problème technique complètement impensable : les cours ne sont pas les mêmes chez chaque brokers ! Je ne parle pas d’une différence de split de 2 à 5 pips mais des bougies totalement différentes ! Donc même si le backtest est positif sur des années, que la personne qui propose le signal est honnête et qu’on est interfacé en direct avec son logiciel de trading (avoir déjà cette combinaison est un exploit) et bien on peut perdre de l’argent alors que lui en gagne !
Sur le Forex les backtests testent aussi les idées, les résultats en temps réel testent les pigeons !

Donc, dans la réalité, dans la "vraie" vie comme le dit Roro, ce qui me gêne le plus c’est que je n’ai pas le contrôle total sur le décalage de résultats. La raison est simple, le calcul chez ETF360 est fait à minuit. Donc même si on fait tout pour éviter les aléas personnels cités par Roro, on a forcément un décalage en vendant et en achetant le lendemain à 9h. Ce décalage peut être très important, par exemple :
- début décembre : écart d’environ 100% (2% de gain au lieu de 4%)
- fin décembre : écart d’environ 470% ! (-3,2% au lieu de +1,5%). Ouverture des marchés suite au mid-week de la nouvelle année avec la chine qui suspend ses cours…

Ce que je compte essayer en 2016, c’est de vendre systématiquement à 17h30 avant le calcul, puis à minuit regarder et acheter immédiatement pour être dans le carnet d’ordres pour 9h.

Qu’en pensez-vous ?

Merci pour cet excellent retour qui me fait fortement penser au miens, si ce n’est que vous êtes optimiste au contraire de moi !
L’année ne semble pas avoir été bonne pour la plupart des stratégies momentum si j’en crois les backtests partagés sur ETF360. Seules celles d’un certain macsnaw s’en sortent bien car il semblerait qu’elles soient passés cash en juillet. Je serais curieux de connaître les détails mais je n’ai pas l’abonnement.
Je suis pessimiste car je suis persuadé que l’année 2016 ressemblera à la deuxième moitié de 2015 avec de fortes volatilités et une cause de chute tous les 2 mois (pétrole / chine / moyen orient / Grèce / dettes etc), j’espère bien évidemment avoir tort.
Je recherche également des solutions pour éviter les écarts entre réel et théorique. J’ai vécu les même déconvenues que vous sur les décalages de jours . Sur les spreads également.
Vous nous donnerez des nouvelles sur la stratégie que vous comptez mettre en place (vente avant le fixing et achat avant ouverture). Néanmoins j’avais cru comprendre qu’il valait mieux acheter quand le marché était ouvert pour éviter les surprises. Pour ma part c’est tout bonnement impossible, je ne peux professionnellement pas me rendre disponible sur des créneaux précis.

EDIT: message croisé avec GBoGBo

Bonjour,

Merci pour vos reporting !

Peut-être quelques pistes:
- Pour la volatilité: il est possible de faire évoluer les moyennes mobiles en fonction de la volatilité; cela peut être une réponse pour sortir/revenir plus vite/moins vite
- Pour le décalage (pas le spread, juste le décalage signal -> ordre): là-dessus, ce que j’ai fais personnellement, c’est que j’ai backtesté ma strategie CTO avec un décalage d’un jour, et que j’ai verifié que cela n’altérait pas (trop) les résultats; je comprends cependant qu’avec un outil tiers ce soit plus difficile…

Amicalement,

R.

Les backtests étaient réalisés jusqu’à présent sur un marché haussier, avec la volatilité actuelle et les baisses, c’est sûr que ça change la donne.
Je pense en particulier à ceux qui ont des ETFs avec levier dans le bassin, en fonction de la fréquence de rebalancement ils peuvent se prendre un bouillon.
De même je pense que beaucoup de stratégies sont restées cash (en général après une baisse) faute de remplir les critères de moyennes mobiles souvent retenus.
Ce qui manque sur ETF360 c’est un stop loss. Il serait intéressant je pense de couper une position après une perte donnée et ne pas garder un sous-performer jusqu’au prochain rebalancement.
En tout cas sur un rebalancement 3 mois comme je l’avais backtesté, cela aurait eu je pense son intérêt.

Bonjour à tous,

Je dirai qu`un rendement faible ou légèrement négatif sur une année n`est pas alarmiste, ni même un écart important avec un benchmark. Cela peut arriver.

Si vous avez une vision long-terme (5 ans) et dont buckingham en est un très bon exemple, le plus important sera le rendement total et donc le CAGR.

Si vous êtes dans le vert 4 années sur 5, que vous générez un CAGR final de 18% (juste un exemple), qui plus est meilleur que le benchmark choisi, on peut considérer la stratégie comme un succès.

De même sur le décalage entre le signal et la rebalance, on en voit l`impact sur du court terme (+/-3%), mais sur du long terme, l`effet est négligeable.

Pour les ordres, Je suis assez favorable aux ordres de type "market"; placé par exemple sur les horaires "pause déjeuner" ou à la dernière heure avant clôture.

Bonsoir Zetta !
Je ne suis pas encore très familier d’ETF360, si je comprends correctement la figure montrant la stratégie employée:
- vous sélectionnez le TOP 2 (d’un bassin de 16 trackers) avec une remise en question de la sélection toutes les deux semaines
- la sélection est basée sur les meilleurs suivant le rendement à 1 an à raison de 5%, le rendement à 2 mois à raison de 80%, avec un malus pour volatilité sur 3 mois à raison de 15%
- conditions particulières de sélection: MA50 > MA100
- et filtre Year-To-Date : entre 0.8 et 11.5
=> c’est bien ça ?
=> comment explique-t’on l’effet "coupe-circuit" du 2ième semestre 2015 ? est-ce du à la fréquence relativement élevée de rebalancing (2 semaines plutôt qu’un 1 mois plus classiquement), à la condition sur moyennes glissantes ? A moins que ce soit du à la forte pondération sur le rendement à 2 mois (plutôt qu’à 3 mois plus classiquement), ou encore au malus pour volatilité ? Ou alors à la constitution du pool ? je ne vois pas d’autres possibilités :-)
Merci,
GBoGBo

Dernière modification par GBoGBo (05/01/2016 19h36)

J’ai eu exactement les mêmes logiques que vous sur la construction du backtest ’Momentum 3M’ toujours dans le top 10 des stratégies sur ETF360, malgré sa baisse en 2015.
- bien diversifié
- low volatilité (pas de Grèce ou Russie par exemple)
- pas de short ou leverage

La différence avec vous est un long rebalancement avec justement le problème de rester 3 mois avec un looser sans par exemple un stop loss pour éviter le pire.

Par rapport aux critères de momentum observés sur les actions (avec l’importance plutôt de la performance sur un an que sur 3 mois), le jour où je reprends l’abonnement, qui est cher, je testerai des critères de progression annuelle plutôt que sur les mois précédents.

Avez-vous pu tester en fonction du momentum 1 an plutôt qu’un momentum qui remonte sur 1 mois ou 2 seulement?

Vos échanges m’ont donné envi de prendre une période d’essai d’un mois chez www.ETF360.eu

J’ai passé une bonne partie des vacances de Noël à tester toutes sortes de configurations, de stratégies et de paramètres, dans le cadre du PEA et en dehors.

L’outils est intéressant, mais présente quelques faiblesses, et notamment l’impossibilité de choisir une date de départ différente de celle résultant de la date de création du 1er ETF du bassin. Il pourrait être intéressant, également, de définir la date de rebalancing, pour la faire cadrer, par exemple, avec un trimestre civil ou un mois calendaire.

Je me suis tout particulièrement intéressé aux simulations comprenant uniquement des ETF éligibles au PEA.

* Pour éviter la sur-optimisation, je me suis imposé quelques règles dès le départ :

- Un bassin d’au moins 20 ETF différents avec une diversification sectorielle et géographique maximale, et idéalement 25. J’exclus tous les ETF crées après 2010, pour donner plus de réalisme aux résultats obtenus.

- Si deux ETF peables sont disponibles pour un même indice, je choisis toujours celui qui a l’historique le plus long, pour que la simulation soit plus "réaliste".

- un coupe-circuit global et rustique, basé sur l’ETF ERO (EMM 50 > EMM 100) et toujours le même, dans toutes les simulations.

- Une rotation trimestrielle pour limiter les frais de courtage

- Une sélection des meilleurs ETF du bassin basée sur la volatilité (3 mois) et l’ulcer rate (3 mois), à chaque fois pondérés à 50%.

* Je me suis ensuite astreint à faire varier uniquement deux paramètres :

- La composition initiale du bassin, en entrée, avec un choix le plus large possible (au moins 20 ETF correspondant à 20 indices différents)
- Le nombre d’ETF retenus en sortie, entre 1 et 10.

* Après de très nombreux essais, je suis arrivé aux constatations suivantes : 

1°/ TCAM % depuis 2002

* Choisir seulement 1 ETF dans le bassin, permet toujours d’obtenir un meilleur résultation que d’en choisir un plus grand nombre (2, 5 ou 10).

Le "prix de la diversification" constaté en TCAM est généralement de -2% si l’on choisi entre 5 et 10 ETF, et de -1% si on en choisit 2, par rapport au choix d’un unique ETF.

Il n’y a pas de différence significative en terme de performance, au dela de 4 ou 5 ETF, par rapport à 10 ETF, mais la volatilité est généralement meilleure à mesure que le nombre d’ETF augmente.

* Si je choisis, en bassin de départ, au moins 20 ETF peables correspondant à des indices différents (sectoriels et géographiques) en entrée, j’obtiens quasiment systématiquement, une performance TCAM comprise entre 10% et 13% pour 2 ETF sélectionnés.

Il y a très peu d’exceptions en dehors de ces deux bornes (inférieur à 10% ou supérieur à 13%).

2°/ Volatilité

La méthode utilisée pour sélectionner les ETF permet généralement d’obtenir une volatilité deux fois inférieure à l’ETF de référence (ERO)

3°/ Coupe circuit - perte max.

Un coupe circuit qui permet de sortir des marchés en période baissière donne parfois quelques faux signaux, qui coûtent un peu de performance. Sur la durée, ces "non-gains", sont très largement compensés par les pertes évitées en 2002, 2008-2009, 2011 et 2016 (?).

Les périodes de hausses sont bien accompagnées par le portefeuille. Toutefois, lorsque la baisse est profonde, le coupe circuit donne parfois un signal tardif pour réinvestir après la tempête, notamment au printemps 2009.

Avec cette méthode, je n’ai jamais constaté de période de "perte max" supérieure à 8%.

Je vous précise également que ce coupe-circuit m’indique qu’il ne faut plus être investi actuellement…

4°/ Mes conclusions personnelles

Mon approche me permet d’obtenir, quasiment à chaque fois, une performance "non-optimisée" comprise entre 10 et 13% l’an depuis 2002, même avec des secteurs d’investissement sinistrés (énergie, etc…). C’est déjà très bien.

A mon sens, celle-ci est imputable par ordre d’importance :

- A l’évolution globale des marchés actions européens, pendant la période considérée, pour environ 5,5% l’an (performance de ERO depuis 2002).
- Au coupe-circuit pour environ 4% supplémentaires : en évitant les 3 "crashs boursiers" de 2002, 2008/2009 et 2011, la performance s’améliore très sensiblement…
- A des choix judicieux en entrée, et au mode de sélection retenu pour environ 1 à 3% supplémentaires (par rapport à un investissement simple sur ERO + coupe-circuit).

Je pense que cette méthode peut facilement être améliorée, en dehors d’ETF360 en :

-> Augmentant l’efficacité du "coupe circuit" en agissant en cours de trimestre, et non à la fin de la période trimestrielle définie par l’interface.

Le suivi de cet indicateur est très facile. Il suffit de paramètrer une courbe de l’ETF "ERO" sur boursorama !

-> Travailler un peu le carnet d’ordre lorsqu’un achat ou une vente est requis en passant un ordre un peu plus favorable, à cours limité sur plusieurs séances, par exemple.

Je recherche l’automaticité, la fiabilité et la simplicité dans la méthode.

Votre avis ?