Backtests sur ETF : pertinence des backtests sur ETF/tracker ?

Bonjour stephane,

Quelques commentaires en vrac:

#1 - Avez-vous essayé de passer à un rebalancement mensuel, bi-hebdomadaire ou hebdomadaire ? Cela vous permettrait déjà de vérifier un petit peu l’impact du décalage du jour de rebalancement sur les performances.

--

#2 - Toutes choses égales par ailleurs, pour vérifier si les choix sont si "judicieux" que cela, vous pouvez essayer de changer les paramètres de classement des ETFs que vous avez défini (volatilité / ulcer). Si en mettant un peu n’importe quoi (pondération, autres critères) vous obtenez à peu près les mêmes performances, c’est le choix des autres choses qui est judicieux (bassin, coupe-circuit, etc.).

--

#3 - Avez-vous une idée de l’influence de chaque ETF de votre bassin sur les performances finales ? Par exemple, le nombre de fois que chaque ETF a été sélectionné ? Il se peut en effet que les performances que vous obtenez - avec vos paramètres de classement - viennent seulement de quelques ETFs, ce qui fait qu’en les changeant (cf #2) et/ou dans le futur, vous pourriez être surpris… Dans le même ordre d’idées, toutes choses égales par ailleurs, vous pouvez essayer d’enlever de votre bassin 1 ETF à la fois pour vérifier l’impact sur les performances.

--

#4 -

stephane a écrit :

Choisir seulement 1 ETF dans le bassin, permet toujours d’obtenir un meilleur résultation que d’en choisir un plus grand nombre (2, 5 ou 10).

Vu les paramètres de classement des ETFs que vous avez choisi, j’imagine que vous parlez du rendement ajusté de la volatilité, auquel cas - aussi surprenant que cela puisse paraître - je peux au moins témoigner que j’obtiens la même conclusion sur d’autres systèmes de rotation hors ETF360.

Dans votre cas néanmoins, comme je n’ai pas accès à vos données, je vous suggérerais de vérifier la consistance de cet effet au cours du temps (par exemple, le nombre de fois où le 2ème ETF choisi était beaucoup moins "bon" que le 1er), pour être sûr de ne rien rater.

--

#5

stephane a écrit :

Toutefois, lorsque la baisse est profonde, le coupe circuit donne parfois un signal tardif pour réinvestir après la tempête, notamment au printemps 2009.

Pour ce genre de coupe-circuit simple (ou les équivalents comme les % de changement et autres), c’est normal : ils coupent toujours après le début de la chute et réinvestissent après le début de la hausse.

--

#6

stephane a écrit :

Je vous précise également que ce coupe-circuit m’indique qu’il ne faut plus être investi actuellement…

C’est également le cas des MM50/MM200, que skywalker31 a détaillé sur cette file. J’y pense parce que j’ai travaillé sur le sujet hier :-) !

Il y aurait encore beaucoup de choses à dire quant à l’analyse de la sensibilité des résultats, mais une performance totale d’environ 10-13% me paraît être dans la fourchette de ce à quoi il faut s’attendre pour ce genre de système.

Pour finir, comme toujours, attention à la sur-optimisation en multipliant les essais ! Même si vous vous êtes imposé des règles fixes au départ (si vous n’avez pas été tenté de les changer, juste un petit peu, bravo !), d’une manière générale, plus vous augmentez le nombre d’essais pour choisir vos paramètres (bassin, etc.), plus vous devriez diminuer la confiance "future" dans votre système.

Après, j’imagine que la plupart de vos essais étaient pour nous fournir ce rapport détaillé et pas pour choisir vos paramètres, donc, ma remarque ne s’applique pas forcément…

Amicalement,

R.

Bonsoir,

stephane a écrit :

Cela n’affecte donc pas véritablement le résultat final, toujours compris entre 10 et 13% l’an.

Oui, ma suggestion était bien pour vérifier cela, qui est plutôt un bon signe !

stephane a écrit :

16 ETF ont été utilisés dans le bassin.

Du coup, maintenant, il faudrait voir ce qui se passe en retirant un à un chacun de ces ETFs, histoire de voir leur contribution relative / la stabilité de l’ensemble.

Amicalement,

R.

* Je viens de compléter mon dernier post. Ce crash-test (24/25) donne également un résultat satisfaisant !

* Vos remarques sont judicieux Catoun. J’ai essayé de monter deux simulations en fonction de la nature des indices (sectoriels/géographiques). Je trouve cela trop compliqué, au final, et donc plus difficile à suivre.

Quant à élaguer certains ETF moyennement corrélés entre eux, pourquoi pas ?

Mais il faudrait les remplacer par des ETF véritablement diversifiants par rapport à ce que j’ai déjà sélectionné.

Avez-vous des idées ?

Post intéressant merci.

Je dirais que parce que les performances passées ne présagent pas des performances futures on se doit d’avoir des ETFs en plus dans le bassin s’ils correspondent aux critères de construction du bassin (même s’ils n’ont jamais contribué) et personnellement j’aurais plutôt tendance à supprimer l’ETF qui a performé le plus sauf s’il correspond tout à fait aux critères (peu volatile, sans levier et sans être forcément large, diversifié au niveau du bassin).
Je vois plein de backtests flatteurs avec des ETFs leveraged sur le NASDAQ par exemple. Je ne pense pas que la configuration du marché les 5 dernières années qui a été propice à ce type d’ETFs puisse se reproduire. J’ai donc des doutes sur la performance à venir de ces stratégies.

Lorsque j’avais établi ma stratégie, l’ETF sur l’or (je ne me souviens plus de son nom mais il n’y en avait qu’un) à lui seul expliquait une grosse partie de la performance en particulier grace à l’année 2000. Cela m’avait gêné, j’aurais préféré un ETF plus large comme un ETF obligataire par exemple. Mais je l’ai conservé car ses caractéristiques (faible volatilité, faible corrélation, sans levier) correspondait aux critères de choix des ETFs du bassin.

Catoun, j’ai l’impression que vous appliquez le principe du "rasoir d’Ockham" et je ne suis pas véritablement d’accord avec cette approche.

Vous recommandez de supprimer tout ce qui paraît inutile (ETF non utilisés dans le passé) ou redondant (ETFs plus ou moins corrélés), pour ne garder que l’indice le plus large et représentatif (ERO ?).

Or, précisément, mes prérequis sont de diversifier le plus possible (25 ETF différents) dans le cadre du PEA.

Les ETF non utilisés dans le passé peuvent parfaitement servir pour l’avenir. Pourquoi se priver de cette possibilité ?

Avec cette enveloppe fiscale, il y aura forcément une certaine corrélation entre les ETF, car il n’y a que des supports "actions". Toutefois, dès lors que la corrélation entre les 25 est inférieure à 1, il y aura toujours un peu plus de diversification avec 25 ETF, plutôt qu’avec seulement 1, 3 ou 5 ETF

Pourquoi se priver de cette possibilité ? Avec 25 ETF, ETF360 ne me facture par plus cher sa prestation !

Enfin, en ne prenant qu’ERO et le coupe circuit, la performance est inférieure (TCAM 10,24% depuis le 31/12/2003), la plupart du temps, à celle que j’obtiens avec un grand nombre d’ETF dans le bassin (fourchette comprise entre 10 et 13% ) .

Pourquoi, dans ces conditions, se priver de cette possibilité, sachant que je ne cherche pas à optimiser le passé (backtest "flatteur" avec une superbe notation), mais plutôt l’avenir (backtest "fiable" construit selon des critères raisonnables) ?

ETF360 a baissé ses prix et fait des promos. J’en ai profité pour me réinscrire pour un an (108€).

J’ai optimisé mon backtest #744 d’il y a un an que vonmark007 sur le site ETF360 avait repris et optimisé lui-même (#1223).
J’ai continué l’optimisation (#746 en attente de validation) et arrive à un score de 73,4 soit le meilleur de tous les backtests.
Avec une performance moyenne de plus de 27% sur 13 ans.
Ca fait rêver et ça vaut ce que ça vaut, les performances passées ne présagent pas de l’avenir, mais j’avoue quand même que ça m’interpelle.

Je vais tenter l’expérience pour voir sur une partie du portefeuille que j’appellerai Momentum 3M.

Dans l’optimisation, vous changez un critère et le résultat d’excellent se transforme en catastrophique, je ne peux pas dire que cela inspire confiance. Mais en 2016 ce backtest défini fin 2015 aurait encore rapporté 29%… Ca mérite de lui laisser une chance.
Balancement trimestriel donc simplement 4 ordres par an.
En 2016 les supports ont été: HDLV puis CSCA puis PHAG puis CACM (ce dernier sous-performant).
La date de balancement est celle de la création du backtest, donc pour celui-ci le 13/12 - 13/03 - 13/06 - 13/09.
Le support en cours est CSCA.

Bonjour JEF56,

Je viens d’apprendre également la fermeture du site d’ETF360 et c’est dommage.
Bien que les backtests présentent certaines faiblesses, j’utilise actuellement 2 stratégies une momentum et une buy and hold. Elles me conviennent parfaitement et obtiennent de bons résultats.
Si le site ferme auriez vous une idée ou l’adresse d’un autre site afin d’avoir une même qualité de suivi?
Je ne suis pas sûr que les sites US recensent les ETF disponibles sur ETF360…

Pour le fun j’arrive à obtenir un score de 117.5 en stratégie buy&hold depuis le …23/12/2008 (forcément) ;-)

Cordialement
Dixiet

ETF360 ont-ils communiqué à leurs clients les raisons de leur fermeture ? Si oui, quelles sont-elles svp ?

Bonjour,

Pour info, ETF360  cesse ces activités le 15 avril. A partir de cette date, le site ne sera plus accessible.

Pffff je suis une stratégie momentum de ce site depuis plusieurs années avec succès, quelqu’un pourrait-il me dire sur quel site je pourrais répliquer mes stratégies momentum.

D’avance merci.

Bonjour,

@Ermu, une possibilité est maintenant de vous faire une feuille de calcul Excel/Google et de répliquer vous même les stratégies que vous suiviez…

Amicalement,

R.

J’arrive donc trop tard pour tester quoi que ce soit maintenant que j’ai compris le principe qui me parait de manière intuitive tout à fait remarquable.

En période de non traumatisme, absence de guerre ou de rupture totale dans le lien

Il faut non seulement se mettre au python mais il faut aussi avoir les bases de données pour être indépendants.

Je ne serai pas étonné que etf360 ait été racheté par un gros intervenant du marché.

Bonjour,

Le fameux biais du survivant est bien connu sur les backtests actions n prend les titres existants aujourd’hui et on les teste dans le passé… mais on oublie que les titres en faillites ont disparu depuis, ou mieux encore on prend les titres du CAC40 aujourd’hui en oubliant que les titres du CAC sont par définitions ceux qui ont le plus augmenté leurs capitalisations sinon ils en seraient sortis…

Mais sur les ETF c’est la même chose, on va aussi prendre ceux basés sur des thèmes à la mode, alors que ceux basés sur les asset backed securities ou des MBS n’existent même plus par exemple.

Pour moi c’est vraiment un outil à prendre avec des pincettes, et sur une période très courte.

Bonjour Fabien42.

Personnellement, je me suis créé une feuille de calcul sur Google Sheets pour suivre mon patrimoine. Je me sers des formules suivantes pour rapatrier des données depuis Google Finances.