Backtests sur ETF : pertinence des backtests sur ETF/tracker ?

Bonjour SMN,

Merci d’avoir ouvert cette file. Je suis personnellement convaincu par l’utilisation des ETF pour investir en bourse car ils sont, répétons-le, bien moins chers que les fonds communs de placement et qu’il est archi-établi maintenant que les gestionnaires privés de fonds « don’t beat the index » sur le long terme (voir d’ailleurs le livre de M. Proudhon). J’ai découvert les ETF durant mon MBA et les stratégies quantitatives ETF avec etfreplay.com et j’ai adopté 2 stratégies depuis 3-4 ans maintenant sur lesquelles j’investis 2x25% de mon cash. J’obtiens bien des rendements de l’ordre de grandeur de ces Backtests (~14% / an), même avec les frais de transaction, qui sont assez limités finalement. Je trouve le rapport simplicité vs. rendement vs. risque tout simplement excellent. Quand on voit la pléthore de sites US qui exploitent le momentum ETF, on se dit aussi que les particuliers sont en retard sur ce point en France/Europe.

Il serait effectivement très intéressant d’avoir d’autres avis concrets et argumentés dans cette file sur le Backtesting ETF. My humble contribution :

Backtesting : contre 
-    Le passé ne reflète pas l’avenir : c’est la mise en garde légale, cependant nous savons que la macro économie et a fortiori la bourse est rythmée par des cycles et des tendances, des « patterns » qui se répètent. Il en va de même pour la météo ou l’histoire. Ensuite cette mise en garde est valable aussi pour l’immobilier ou le « value », où l’on prend, là aussi, les data financières passées.
-    Le momentum n’est pas expliqué scientifiquement : c’est vrai. Il est archi-démontré qu’il existe, mais certains investisseurs veulent en plus savoir pourquoi. Pour ma part je prends les 10-15% / an et je n’attends pas la démonstration, tout comme je prends mon parapluie sans attendre de savoir pourquoi il pleut. Les derniers articles pointent le « herd behaviour » : les acteurs tendent à acheter les actifs qui montent, ou à confier leur argent à des gestionnaires qui montent, ce qui revient au même … et ce qui monte, continue de monter, « un certain temps ».
-    Le miracle statistique : effectivement, certaines combinaisons de Backtests donnent des résultats mirobolants (+100% /an) sans aucun fondement stratégique rationnel. C’est vrai, mais ces Backtests sont très faciles à démasquer grâce au sensitivity analysis : changez légèrement un seul paramètre, et le rendement change lui complétement.
-    Les frais de transaction tuent la rentabilité : ca dépend. Avec une rotation hebdomadaire surement. Mais la majorité des « bons » Backtests que j’ai vu ont des rotations mensuelles et par ailleurs les ETF restent souvent les mêmes d’une période a l’autre. Par ailleurs les frais des e-brokers sont de plus en plus bas, on en est à 0.09% chez bourse direct et DeGiro semble faire mieux. Difficile alors d’éroder significativement une stratégie à 15%/an.

Backtesting : pour
-    Approche très simple : rotation d’ETF toutes les 2 á 10 semaines, ce qui reste très rapide à gérer. Etf360.fr permet même de recevoir les alertes par email maintenant, sur des stratégies publiées.
-    Il existe de nombreuses stratégies qui font 10 à 20% par an (hors impôts et frais de transaction mais en incluant les frais TER intrinsèques des ETF)
-    Stratégies « prouvées » via une simulation sur 10 années ou plus, avec 2008 dans l’échantillon : je suis très orienté « Excel » plutôt que la bonne parole d’un gestionnaire de fond (même avec un historique car les employés changent). Par ailleurs, essayez de trouver des fonds qui ont plus de 10 ans sur quantalys … J’ai regardé : moins  de 40 font plus de 12%/an (TCAM) sur plus de 8 ans, sur un total de 30 000 (!), sachant que ces 40 fonds « premium » ont des droits d’entrée, de sortie, de garde, de dossier qui sont absolument ahurissants (jusque 3% par an) et asphyxient complètement ces rendements. Certains ont des investissements minimaux de 1m d’Euros…
-    Actifs revendables immédiatement : pas de locked-in comme avec l’immobilier
-    Frais des intermédiaires limités : les TER ETF tournent autour de 0.2, 0.3%. Les banques ne les proposent pas car les commissions sont faibles

Donc pour moi vous l’avez compris les stratégies de rotation ETF sont une sorte de « well kept secret », en France, mais pour une raison que j’ignore. Certains acteurs comme www.etfinances.fr  ou www.etfworld.fr se positionnent sur le créneau et j’étais par ailleurs ravi de découvrir www.etf360.fr qui résout le problème des ETF US de etfreplay. Ce qui m’amène au comparatif des sites que je connais et que j’ai (vraiment) testé (pour moi !   ) :

Les sites web :

-    www.Quantalys.com : orienté fonds et pas seulement ETF. Propose les comparaisons classiques entre actifs, le Buy & Hold, mais aussi l’optimisation mathématique de portefeuille via la théorie de la frontière efficience (CAPM - Capital Asset Pricing Model). Cette théorie est depuis 2008 assez critiquée car elle considère que les marchés sont parfaits, et 2008 a démontré que non. L’esprit efficient frontier est en fait assez opposé au Momentum qui exploite l’ « anomalie ».
-    www.Etfscreen.com : US, ETF seulement. Ce site est excellent car il propose de très bon outils de backtesting, et aussi le partage des backtests. Le souci c’est que l’interface est une catastrophe ce qui le rend rébarbatif. Il est aussi en grande partie gratuit, ce qui est le (bon) pendant.
-    www.Etfreplay.com : la référence US pour moi. L’interface est bien plus claire mais il n’y a aucune interaction entre les Membres. On doit partir de 0 et on ne peut rien enregistrer. Il faut recopier ses Backtests a la main, et y retourner pour voir les rebalances (ou le faire à la main dans Yahoo + Excel, mais je trouve cela trop fastidieux)
-    www.Etf360.fr : la bonne surprise 2014. Le site est nouveau et j’ai pu tester récemment : ETF Euronext, plusieurs Backtests, possibilité d’enregistrer, de publier et de suivre les Backtests (par email). Je pense que je vais n’utiliser que celui-ci sur le long terme.
-    www.Justetf.com : site allemand ETF Euronext en anglais. Très bien pour comparer, mais Buy & Hold seulement, pas de Backtests « intelligents ».
-    etfDB, etftrends : les gros sites info ETF US, mais pas de Backtest.

Toute contribution serait appréciée car j’aimerais beaucoup comprendre « où est la faille » dans le raisonnement pro-backtest ETF. Meme si il convient de rappeler que 1- rien n’est 100% garanti et ce n’est pas une technique « get rich soon » ni un miracle 2 – il faut diversifier de toute manière 3 – les ETF présentent certains risques intrinsèques, comme tous les investissements du monde depuis la création de la monnaie (mais c’est un autre débat).

Bonne journée

Re,

@smn, je vais insister sur :

smn a écrit :

Je ne vois pas comment on ne pourrait pas suivre simplement ce type de signaux et avoir des résultats très proche ? Même avec quelques minutes de décalage lors du rebalancement.

C’est là un des problèmes de l’implémentation effective de toute stratégie quantitative.

Dans le cas particulier de cette file, sur le papier (ou sur l’écran :-)), vous aurez des performances liées à un rebalancement irréaliste et rigide.

Dans la "vraie" vie:
- En Janvier, vous n’allez pas pouvoir rebalancer le 1er, parce que vous allez être invité chez des amis
- En Février, vous n’allez pas pouvoir rebalancer le 1er ni le 2nd, parce que votre conjoint/conjointe aura besoin de vous toute la journée
- En Mars, vous allez enfin pouvoir rebalancer le 1er, mais par rapport au cours de rebalancement de votre backtest, il y aura 3% d’écart (vécu personnellement, en ma faveur)
- En Avril, vous n’allez quand même pas investir 100% en actions Japon, alors que depuis une semaine tous les journaux ne parlent que de l’explosion nucléaire sur le site de Fukushima et que le Nikkei dévisse séance sur séance
- …

J’ai caricaturé, mais ces accumulations de différences feront que les performances que vous obtiendrez seront du même ordre, mais pas forcément comparables (i.e., il pourrait y avoir plusieurs points de pourcentage de différence).

Les backtests testent les idées, les résultats en temps réel testent l’investisseur :-) !

Amicalement,

R.

sanbouddha a écrit :

j’ai développé une petite fonction qui rejoue une stratégie du type "filtre moyenne glissante M mois" sur une série historique de prix ou de rendements mensuels.

Je n’ai pas encore trouvé comment bien présenter mes résultats, mais je peux vous faire part de quelques observations.
Pour rappel, je teste la stratégie toute bête qui investit sur un indice si celui-ci est au dessus de sa moyenne mobile (en option: et si la pente de la moyenne mobile est positive) et reste cash dans le cas contraire.
C’est la base du Ivy portfolio, qui prend comme référence la moyenne mobile 10 mois (SMA10). Je me suis toujours demandé: pourquoi 10 mois ?
J’en ai donc testé d’autres, pour voir si cette stratégie fonctionne et si d’autres indicateurs donnent d’aussi bons voire meilleurs résultats.

Ce qui ressort de ces premiers backtests, c’est par exemple

1/ Sur les grands indices US & Europe, la tendance à 9-10 mois est effectivement celle qui donne les meilleurs résultats dans l’ensemble. La performance à 5 ans est quasi systématiquement égale ou supérieure à une stratégie buy&hold, avec une volatilité et un max drawdown divisés par 2 ou 3.
La stratégie avec option ’pente’ donne des résultats équivalents tout en étant investie moins longtemps (en nombre de mois), sachant que j’ai considéré un rendement nul pour le cash. Si on admet que le cash rapporte 1-2% (fonds euros) cela peut donner un avantage significatif à cette option.

3/ Sur les commodities, marchés plus réactifs, il est plus efficace de suivre la tendance courte à 3 mois. C’est assez intuitif dans le sens où ces marchés sont plus agités, il faut donc les "coller" davantage. Si on s’en tient à une tendance longue on est toujours en retard, au point d’obtenir dans certains des résultats encore moins bons qu’en buy&hold.

4/ Sur l’obligataire (inflation, high yield, convertibles) l’efficacité de cette stratégie est beaucoup moins évidente. Certes on réduit là aussi la volatilité et le max drawdown, mais la performance chute d’autant ! Et c’est le cas quel que soit l’indicateur retenu (moyenne courte ou longue). Cela signifierait que ces marchés seraient moins sujets à cet effet moutonnier que l’on observe sur les marchés actions, et qui fait qu’une tendance amorcée à plus de chances de se poursuivre que de s’inverser ?

C’est tout pour aujourd’hui, je ne sais pas si ça fait beaucoup avancer le schmilblick mais dans le pire des cas, j’apprends R en m’amusant donc ce n’est pas du temps perdu

Dernière modification par sanbouddha (11/04/2015 13h00)

Les backtests sont des outils puissants et très dangereux à la fois.
Ils permettent de créer une stratégie un mettant bout à bout des conditions de sélection/achat.
Et c’est là que réside le problème.
Dans le cadre de la stratégie momentum, on parle d’investissement long terme avec des rebalances espacées de plusieurs semaines.
Du coup, le danger qui guète est la sur-optimisation du fait du faible volume de données en entrée, démonstration:

Considérons un backtest sur 10 ans avec un bassin de 15 ETFs avec un rebalance de 2 semaines (ce qui est à la limite du long terme …)
Ceci nous donne:
15 (ETFs) x 10 (annes) x 26 (semaines) = 3900 données ou 3900 degrés de libertés en entrée.
Votre système comprend 8 paramètres/règles (fréquence de rebalance, nombre d’ETFs investis, scoring, filtrage).
Pour faire simple, disons que vous avez testé chaque paramètre avec trois valeurs ( là je suis gentil :-D )
Vous avez donc exploré 3x3x3x3x3x3x3x3 = 3^8 = 6561 combinaisons.
Vous avez testé plus de combinaisons que de degrés de liberté de vos données d’entrée.

Autant vous dire que vous n’obtiendrez jamais d’aussi bon rendement dans les mois/années à venir et que vous risquez même d’avoir de grosses déconvenues …
Votre système colle parfaitement aux données du passées.

Le danger est sournois car les plateformes comme EFT360 permettent ce genre de petit "jeu".
Sur une telle stratégie, avec peu de données d’entrée, il faut réduire au maximum le nombre de paramètres/règles.
Les systèmes les plus robustes sont les plus simples et réciproquement ;-)

Bonsoir,

En effet, c’est bien ça ! Sauf si j’ai mal lu, mais vous ne faites aucune erreur sur l’interprétation.

L’effet coupe-circuit est grandement dû à la sélection sur les moyennes glissantes.
Presque aucun ETF du bassin durant la période considérée ici (deuxième semestre 2015) n’a passé le test du M50>M100 globalement la tendance était à la baisse.
Il est à noter que le premier semestre - en partie du moins- avait été excellent et donc ramenait la M100 vers le haut pour les 50 premiers jours du second semestre, au moins. On peut donc voir l’influence des bons résultats sur la M100 et l’influence de mauvais sur la M50.
Au final ça en a donc fait un bon "coupe-circuit".

La fréquence élevé du rebalancing n’y est pour rien, puisque même à l’intérieur de périodes, aucun ETF n’était "en capacité d’être sélectionné".
La haute fréquence permet, selon moi, de sortir assez vite d’un ETF qui bat de l’aile, tout en permettant de le garder plusieurs périodes d’affilée si il ne souffre d’aucune baisse.

La constituion du pool y est aussi pour quelques chose : aucun ETF short ou leveraged.
Si ceux-ci avaient été inclus, je ne serais sûrement pas resté en CASH durant le second semestre, et probablement engendré quelques bénéfices. Cependant j’ai voulu rester sur une stratégie avec un pool initial "logique, normal, basique", sans short ou leveraged qui certes augmentent la rentabilité sur de courtes périodes, mais la plombe - globalement - sur de plus longues.

Pour m’affranchir d’ETF360, j’ai créé mon propre calculateur :
D - ETF360 perso - Google Sheets
Comme les derniers temps ont été maussades, j’ai n’ai pas pu tester ma petite stratégie, même avec mon propre calculateur. Si des temps meilleurs viennent, je reprendrai quelques mois de premium sur ETF360 pour comparer les résultats ETF360 aux résultats de mon calculateur, pour vérifier si je n’ai pas fais d’erreurs. 

Concernant enfin la volatilité :
C’est également pour éviter les ETFs avec des hausses ou baisses de folie, que je jugerai "peu stable". Difficile d’être objectif sur la valeur exacte de ces paramètres.

En espérant avoir répondu à vos questions, et sans hérisser le poil de qui que ce soit avec mes explications possiblement faussées par mon jugement personnel.

Bonne soirée à vous