Backtests sur ETF : pertinence des backtests sur ETF/tracker ?

Vous cherchez quelquechose comme ça ?
Ulcer Index [ChartSchool]

(google "ulcer rate excel"), 1ère réponse.

smn a écrit :

Merci smartnlazy, de me rendre la paternité de l’origine de votre backtest. En voyant ce backtest en  public, j’avoue que je n’ai pas trop apprécié. Ce n’est pas tant à cause du partage, car j’ai donné beaucoup de détails sur ce fil et je continue d’échanger, mais plutôt parce que cela profite à une entreprise ETF360 qui ne s’inscrit pas dans cette notion de partage ou de rétribution.
Si vous partagez cette avis, je vous invite à enlever le backtest de la partie public.

J’ai essayé malheureusement, dans la mesure où des utilisateurs le suive, je ne peux pas arrêter sa diffusion. En revanche je me garde bien de publier mes nouveaux backtests…

ETFReplay et ETF360 prennent pour point de départ 2003. Mais qu’en est-il d’un backtest plus long ?

Des ETF sont disponibles depuis 1996 pour la France et le S&P500 aux USA, EWQ et SPY respectivement.

Je me suis basé sur un dual momentum avec ces paramètres :
- Si les deux ETF ont une perf à 3 mois supérieure à 0, sélection de l’ETF avec la meilleure perf.
- Si un seul a une perf à 3 mois supérieure à 0, sélection de cet ETF.
- Si aucun n’a de sélection à 3 mois, le portefeuille est désinvesti.

Le graph ci-dessous montre l’excellent résultat d’un dual momentum depuis 2003. J’ai ajouté la performance d’un fonds en euros à 3%/an à titre de comparaison.

Mais si l’on remonte à 1996, on remarque que la bulle internet a emmené la stratégie momentum avec elle dans son explosion. Mes backtest intégrant d’autres tracker amènent au même résultat.



(L’échelle différente pour une même largeur de graphique amplifie les évolutions sur le 2nd graphique)

Nann a écrit :

- Si les deux ETF ont une perf à 3 mois supérieure à 0, sélection de l’ETF avec la meilleure perf.
- Si un seul a une perf à 3 mois supérieure à 0, sélection de cet ETF.
- Si aucun n’a de sélection à 3 mois, le portefeuille est désinvesti.

Ajoutez une condition : avant de comparer les perfs récentes, voyez si l’ETF est au dessus de sa MM9 (moyenne mobile 9 mois) et si celle-ci a une pente positive (supérieure à la MM9 du mois précédent).
Sur la période considérée la performance est légèrement meilleure, mais surtout la volatilité et le max drawdown sont déjà bien réduits.

Maintenant, oubliez les perfs récentes de chaque ETF, investissez 50% de votre portefeuille sur chaque ETF au dessus de sa MM9 (vous pouvez donc être investi à hauteur de 0%, 50% ou 100%), vous obtenez une meilleure perf, une volatilité et un max drawdown encore plus faibles (pour une stratégie plus simple à mettre en place).

Dernière modification par sanbouddha (02/04/2015 19h39)

voleur2poule a écrit :

Le point noir que j’observe pour le moment est le relatif manque de liquidité des ETF. Si je prends par exemple LYXOR ETF MSC WCS que je vais vendre prochainement, le cours est à 252.380 mais dans les faits, la fourchette achat / vente (spread) est de 251.550 à 253.200 si on veut faire la transaction immédiatement on "perd" donc 0.3%, idem à l’achat.  Chaque rebalancement nous coute donc 0.6% + les frais du courtiers.

Les coûts (frais, taxes) ont toujours tendance à noircir le tableau, surtout qu’ils ne sont jamais pris en compte dans les 1ères études documentant "l’anomalie". La grande majorité des anomalies s’avèrent inexploitables ou inexistantes une fois qu’on passe à la pratique. A noter que d’après mes connaissances ce n’est pas le cas du facteur momentum. Malgré tout, je pense que cette stratégie n’est à envisager que par des investisseurs expérimentés.

Bonjour à tous,

Merci à tous pour la construction de cette file fort intéressante. Mon humble contribution :

adadou70 a écrit :

Passer par une assurance vie élimine le problème de liquidité car c’est l’assureur qui garanti la liquidité des titres.

Mmmh … le problème de la liquidité existe également au niveau OTC (over-the-counter) et n’est pas forcement décorrélé, en prix, du marché secondaire auquel les particuliers ont accès. Je doute que l’assureur vous assure le « meilleur prix » à l’instant précis où vous passez l’ordre, en considérant que le meilleur prix est le milieu du spread dans l’order book. Mais cela serait très intéressant à tester la prochaine fois que vous passez un ordre ETF (ou action) en AV : regardez l’order book sur Euronext par exemple. Aussi les institutions (manœuvrant en OTC) sont aussi souvent présentes dans l’order book du marché secondaire dans un rôle d’arbitrage … automatique et lucratif j’imagine, ce qui nivelle les prix. Là où je suis d’accord par contre c’est que sur les ETF avec un order book vide, un assureur institutionnel aura plus de chance d’avoir accès à une transaction via l’OTC. Mais à quel prix ? Quel est le prix de quelque chose qui ne s’échange pas sur le marché secondaire ? D’une manière générale, à mon sens, il faut fuir les order book vides.

Nann a écrit :

Mais si l’on remonte à 1996, on remarque que la bulle internet a emmené la stratégie momentum avec elle dans son explosion. Mes backtest intégrant d’autres tracker amènent au même résultat.

Je suis d’accord avec SMN et sanbouddha. Essayez d’ajouter des filtres moyenne glissante qui limitent les pertes. C’est peut-être de fait la stratégie qui n’est pas optimale. Cependant bravo pour l’essai en remontant à 1996. Je suis toujours admiratif des Membres qui font un tel travail dans Excel, essentiellement car je n’ai pas cette patience. Pour démontrer à quel point certains s’amusent avec l’effet momentum, vous avez cette étude de Capital Fund Management qui simule depuis … 1800 ! soit « Two centuries of trend following ». Le rêve du Backtesteur

https://www.cfm.fr/pdf/financial_market … lowing.pdf

Je n’ai pas lu dans le détail, mais la conclusion est classique : «we have established the existence of anomalous excess returns based on trend following strategies across all asset classes and over very long time scales. » … «The effect is very stable, both across time and asset classes. It makes the existence of trends one of the most statistically significant anomalies in financial markets ».

On peut bien sûr mettre en cause la source (fund manager qui vend de l’analyse quantitative) mais il y en a quand même énormément d’études qui arrivent à cette conclusion. Toujours avec les limites déjà mentionnées ici et ailleurs (effet bull en 2014/2015, nécessité d’une discipline perso, limitation des couts de transaction, TER, spread … etc.).

voleur2poule a écrit :

Le point noir que j’observe pour le moment est le relatif manque de liquidité des ETF. Si je prends par exemple LYXOR ETF MSC WCS que je vais vendre prochainement, le cours est à 252.380 mais dans les faits, la fourchette achat / vente (spread) est de 251.550 à 253.200 si on veut faire la transaction immédiatement on "perd" donc 0.3%, idem à l’achat.

Bonne remarque. Les transactions  fee et le spread « érodent » le capital. C’est bien connu. C’est le prix à payer des stratégies actives ou dynamiques qui tentent (entre autres) de limiter les pertes en cas de crise (stop-suiveur, cut-off de moyenne glissante … etc.) et d’optimiser avec (entre autres) l’effet Momentum. Il faut faire le calcul de l’érosion, estimer le nombre de rebalances (on garde quand même souvent les mêmes ETF), regarder les commissions des e-broker (variable et/ou fixe) … Quant au spread il peut être réduit en cherchant des ETF corrélés, voire suivant le même index, qui ont moins de spread, souvent synonymes de plus d’encours. Attention dans votre exemple vous pourrez peut-etre vendre a 252.380, seuls les ordres non résolus apparaissent dans l’order book, mais effectivement si vous voulez vendre "immédiatement", c’est différent. L’empressement a un prix .

Vous trouverez les ETF « équivalents » sur les sites à présentation catégorielle type morningstar, quantalys (pas spécifique ETF) ou ETF360. Par exemple dans le cas de COSW dont vous parlez (consommation, MSCI World Consumer Staples), je vois que CODW (MSCI World Consumer Discretionnary) et FOO (EUROPE 600 FOOD & BEVERAGE) sont bien plus gros en encours et corrélés entre 0.92 et 0.99 sur des périodes de 3 mois à 3 ans. Peut-être pouvez-vous les utiliser en remplacement pour limiter le spread.

Bonne soirée !

Quel suspense !

« R », c’est la nouvelle version de P et Q ? (pardon … fin de journée).

J’avoue que je n’ai pas ce courage pourtant j’ai étudié l’informatique. Pouvez-vous nous en dire plus sur le software et peut-être une update á l’occasion de votre nouveau Backtest pour comparer avec d’autres sites web Backtest ETF mentionnés sur devenir-rentier ?

Merci !

Hélas non. Je ne suis pas très OPCVM. Pour le reste j’imagine que c’est Yahoo ou vous avez acheté ? (je comprendrais que vous souhaitiez rester discret sur ce point).  J’avais regardé des choses comme eoddata.com ou Metastock mais je n’avais rien trouvé de concluant.

Bonne soirée !

sanbouddha a écrit :

j’ai développé une petite fonction qui rejoue une stratégie du type "filtre moyenne glissante M mois" sur une série historique de prix ou de rendements mensuels.

Je n’ai pas encore trouvé comment bien présenter mes résultats, mais je peux vous faire part de quelques observations.
Pour rappel, je teste la stratégie toute bête qui investit sur un indice si celui-ci est au dessus de sa moyenne mobile (en option: et si la pente de la moyenne mobile est positive) et reste cash dans le cas contraire.
C’est la base du Ivy portfolio, qui prend comme référence la moyenne mobile 10 mois (SMA10). Je me suis toujours demandé: pourquoi 10 mois ?
J’en ai donc testé d’autres, pour voir si cette stratégie fonctionne et si d’autres indicateurs donnent d’aussi bons voire meilleurs résultats.

Ce qui ressort de ces premiers backtests, c’est par exemple

1/ Sur les grands indices US & Europe, la tendance à 9-10 mois est effectivement celle qui donne les meilleurs résultats dans l’ensemble. La performance à 5 ans est quasi systématiquement égale ou supérieure à une stratégie buy&hold, avec une volatilité et un max drawdown divisés par 2 ou 3.
La stratégie avec option ’pente’ donne des résultats équivalents tout en étant investie moins longtemps (en nombre de mois), sachant que j’ai considéré un rendement nul pour le cash. Si on admet que le cash rapporte 1-2% (fonds euros) cela peut donner un avantage significatif à cette option.

3/ Sur les commodities, marchés plus réactifs, il est plus efficace de suivre la tendance courte à 3 mois. C’est assez intuitif dans le sens où ces marchés sont plus agités, il faut donc les "coller" davantage. Si on s’en tient à une tendance longue on est toujours en retard, au point d’obtenir dans certains des résultats encore moins bons qu’en buy&hold.

4/ Sur l’obligataire (inflation, high yield, convertibles) l’efficacité de cette stratégie est beaucoup moins évidente. Certes on réduit là aussi la volatilité et le max drawdown, mais la performance chute d’autant ! Et c’est le cas quel que soit l’indicateur retenu (moyenne courte ou longue). Cela signifierait que ces marchés seraient moins sujets à cet effet moutonnier que l’on observe sur les marchés actions, et qui fait qu’une tendance amorcée à plus de chances de se poursuivre que de s’inverser ?

C’est tout pour aujourd’hui, je ne sais pas si ça fait beaucoup avancer le schmilblick mais dans le pire des cas, j’apprends R en m’amusant donc ce n’est pas du temps perdu

Bonjour à tous

Grace à ce forum j’ai pu découvrir l’investissement en bourse. Je m’orientais vers une approche "buy and hold" jusqu’à découvrir l’approche "momentum" décrite par plusieurs forumeur et notamment dans ce fil et qui me semble plus stable en période de crise.

Je pensais partir sur une approche "dual momentum" sur ETF mais mon PEA étant pour l’instant vide, je vais plutôt adapter cette stratégie afin qu’elle soit viable pour un PEA.

Le "dual momentum" n’étant pas optimal sur un CTO, j’espère que d’ici le remplissage de mon PEA les AV auront su se développer pour proposer des ETF variés et ainsi permettre l’application de la stratégie.

Je me suis donc amusé sur ETF360 en m’inspirant des backtests publics déjà existants. Le soucis avec ETF sur PEA c’est que les paramètres utilisés de scoring ou de rebalance ne sont absolument pas dans les normes du forum (Scoring: 70% 3 mois / 15% 1 mois / 15% 6 mois / achat si MA50>MA150)

Ceci permet d’atteindre de très bon backtests mais sont-ils pour autant pertinent ? Ne vaudrait-il pas mieux suivre simplement les critères communément utilisés quitte à sacrifier la performance des back tests ?

Voici vers quoi je m’orienterais:

Bassin ETF


Scoring/Rebalance


Backtest


Qu’en pensez vous? Etant en phase d’apprentissage je suis ouvert à toutes critiques!

Jef56 a écrit :

Je constate qu’il suffit de très peu de choses pour qu’un backtest passe de bon à moyen voire à mauvais.
Il faut donc en effet être très circonspect dans l’utilisation de cet outil et valider les résultats par une pratique réelle de la stratégie.

Vous avez identifié le problème de l’overfitting, et c’est très bien vu. Le problème est que, compte tenu des nombreux paramètres rentrant dans le design et l’optimisation d’une strat, il est assez facile, même à la main sans le vouloir, de trouver des couples de paramètres qui vont superbement coller à des données historiques par définition finies (après tout vous pouvez par exemple trouver une interpolation polynomiale qui fait un fit exact sur une série historique de prix - ensuite pourquoi pas utiliser le polynome résultant pour trader les variations futures ? Evidemment, vous avez de très forte chance que dès T+1, ça ne fonctionne plus…).

Risquer du capital pour "valider" les résultats me semble évitable, lorsqu’on développe la strat sur des bases saines. Je ne vais pas les citer toutes, car il s’agit aussi de l’avantage compétitif entre ceux qui s’adonnent à la conception de telles stratégies, mais je vais en citer quelques uns :
* Cherchez des strats à partir de biais connus (par exemple, une strat type long/short sur deux actifs corrélés, de manière vérifiable mathématiquement mais aussi d’un point de vue macro, du style un long/short sur pays dépendant largement d’une industrie, vs l’industrie elle-même)
* Limitez les degrés de liberté (en comptant chaque paramètre de la strat comme un degré de liberté, assurez-vous qu’il y en a le moins possible)
* Limitez le nombre de degrés de risques (par exemple éliminer le risque de marché en faisant du long/short, le risque prix du sous-jacent avec du delta neutral)
* Assurez-vous de la stabilité de la strat autour des degrés de liberté. Si une variation d’un paramètre fait changer complètement le profil de la strat, jetez-là immédiatement à la poubelle, c’est de l’overfit.
* Adoptez des hypothèses très conservatrices pour les simulations (slippage élevé, frais élevés, rates de short élevés…)
* Assurez-vous que vous maitrisez la chaîne de production des résultats, pour éviter les autres biais classiques (biais du survivant, look-ahead, overfitting…) qui peuvent être présents sans que vous le sachiez dans la chaîne que vous utilisez
* Ne croyez pas tout ce que vous vendent ces plateformes type ETF360. Le sujet est complexe et dépasse la simple utilisation d’une plateforme, aussi jolie soit-elle.

bon courage,
lct

Pour tester la robustesse d’une stratégie, une autre piste serait d’inclure des canards boiteux dans votre bassin de départ et voir comment la stratégie se comporte. Sur les récentes années, je pense au Brésil, au Gold, au Japon avec un range 2009 -> 2012 meurtrier pour le trend-following…

Egalement, si vous avez un bassin de départ de 10 ETF, vous faites 11 backtests : 1 avec les 10 ETFs de départ, et 10 autres en enlevant à chaque fois un des 10 ETFs pour voir si le résultat initial n’est pas du à un outlier.