La programmation Python et les IH

Hello FrankChalmers, Félicitations pour votre outils ! Il a du vous demander pas mal de travail.

Je commence à réaliser quelques petits scripts de mon côté afin d’améliorer ma vision sur mon portefeuille et sur les sociétés extérieurs.
Je commence tout juste et pour le moment je n’en ai qu’un seul qui me permet de voir les variations d’une société avec ses concurrents de manière normalisée sur une fenêtre de temps voulu. J’utilise pour la première fois BS ce soir pour scrapper les fondamentales sur YF, je suis assez étonné de la facilité pour le moment !

En tant qu’étudiant sinon je suis en période de stage et je réalise une API dans une BFI pour une banque à la défense en python toujours, j’apprends beaucoup !

Ravi de pouvoir échanger !

@parentier

parentier a écrit :

Holala, je découvre ce fil… je suis quasi-débutant en programmation, et depuis quelques temps je me suis mis en tête de faire mon propre screener avec Python. Les fonctions seraient assez simples:
- récupération des données comptables
- calcul de formules personnalisées
- exporter dans un fichier excel ou google sheet
Sachant que je fais ça sur mon maigre temps de loisir, combien de temps vais-je galérer avant d’y parvenir à votre avis?

Ca ressemble un peu à  ce que je souhaite faire.
1) Récupérer les données comptables : J’utilise BeautifoulSoup qui permet de scrapper des pages internets.
2) A vous de faire vos fonctions !
3) Exporter vos résultats via pandas et la fonction to_excel

Concernant la programmation, j’ai vu une conférence de vulgarisation scientifique sur l’ordinateur quantique et visiblement la programmation de demain ne sera pas du tout celle d’aujourd’hui ! Les chercheurs se remettent à coder en assembleur mais avec en plus de ça la superposition des états qu’offrent le quantique, c’est bluffant !

Malheureusement la vidéo est confidentielle puisque était liée à une entreprise (dont je ne fais pas partie non plus) et je ne l’ai pas

FrankChalmers a écrit :

Bravo pour votre stage, j’imagine que c’est la même qui mettait du texte dans ses pages web pour recruter des scrapers

C’est possible, je suis curieux d’en savoir plus de ce côté !

En parlant de scrapers je viens de finir le mien pour m’en servir en tant que screener. Mon screener  peut théoriquement couvrir plus de 100 000 tickers (liste de tickers yahoo qui date de septembre 2017). Avec ça je vérifie les rapports annuels des sociétés sur Yahoo Finance et mon programme me ressort les sociétés qui vérifie les conditions souhaités (EV/EBITDA, CAF/Dette etc.)
Pour éviter que mon IP soit repérer j’utilise le module "torrequest" qui me permet de changer mon IP quand je le souhaite. Mon programme est un peu lent mais fait l’affaire.

FrankChalmers a écrit :

Si vous découvrez d’autres libs aussi intéressantes dans le sujet qui nous intéresse, n’hésitez pas à les partager wink

Du coup "torrequest" pour anonymiser le scrapping, je ne sais pas qu’elle est la limite pour Yahoo Finance mais j’ai préféré sécuriser dés le départ. Maintenant je vais certainement m’intéresser à Postgres que j’utilise dans le cadre du travail pour enregistrer des informations.

Bonsoir !

Je suis tombé, par hasard, sur ce SITE Internet
Il est proposé des cours pour apprendre à Trader avec les langages Python ou R.

TOUTEFOIS, je n’ai pas voulu laisser mes coordonnées. À vous de voir…

@FranckChalmers
Bonjour
Je trouve votre projet très intéressant et abouti. C’est motivant pour moi qui m’occupe d’un projet similaire.
Par contre, j’utilise des variantes:
- utilisation de scrapy au lieu de beautifoul soup
Rencontrez vous parfois des erreurs 429 parce que vous faites trop de requetes sur le site ?
- la représentation graphique n’est pas ma priorité, je pense qu’au lieu d’utiliser TKinter je me pencherai sur seaborn le moment venu qui me parait proposer plus de possibilités.
Dans un premier temps je souhaite juste faire ressortir des cas de figures de manière automatique avec les statistiques qui vont bien pour être informé et passer les bons ordres au bon moment.
Je suis actuellement en train de regarder la programmation de l’intégration régulière des données en journée.
Comment avez-vous procédé ? vous enregistrer sur un fichier et à chaque cycle vous l’ouvrez, ajoutez les nouveaux éléments, analysez la situation puis vous le réenregistrez ? C’est ça ?
Bonne journée à vous
Laurent

Merci pour ce fil.

Suite à sa lecture, j’ai commencé le cours Udemy suivant qui peut peut être intéresser d’autres membres:
https://www.udemy.com/python-for-financ … analytics/

Afin de me remettre à jour, (il y à tres longtemps que je n’ai pas développé).

Jusqu’ici (20%) c’est plutôt bien fait, beaucoup d’exercices et explications claires. Je verrai dans la durée !

Bonne journée

Bonjour !

Swingueur a écrit :

Urlib ne fonctionne pas ou alors j’ai trouvé des scripts sur internet assez complexes

Regardez plutôt la librairie requests, qui fournit une interface bien plus simple/logique que celle d’urllib.

Swingueur a écrit :

Ensuite, il faudrait bosser le parsing de CSV

Idem, jetez un oeil à la librairie pandas. Tout ceci a déjà été évoqué dans la file, y compris les scrapers

Et surtout, utilisez une version récente de Python. Le minimum vital étant 3.6 de nos jours.

Pour la base vous avez l’embarras du choix, à voir selon vos besoins (relationnelle classique, nosql/full text, simple cache… sans doute les trois, d’ailleurs).

Bon courage pour votre projet, cela me fait penser que je dois reprendre les miens…

Pour ce qui est des banques et courtiers, jetez un oeil à Weboob et précisément boobank. Ils couvrent déjà quelques courtiers bourse et AV.
Le parsing de PDF des rapports annuels, dont le format est spécifique à chaque société, est probablement peu faisable (sauf si vous avez très peu de sociétés). Cela dit avec pdf2text et grep on peut faire un prétraitement utile.
CSV/Excel, pandas sait les lire et les écrire, très pratique.

Suite au premier script, j’en ai fait un deuxieme pour m’aider sur l’analyse financière.
Il y a plusieurs étapes / options
1. Ouvrir des URL, principalement une recherche google du rapport financier et les onglets MorningStar. Pour l’instant, je ne me suis pas encore mis au téléchargement automatique des CSV MS, mais l’état actuel m’aide pas mal
2. Archivage des PDFs/CSVs dans Drive et concatenation des CSVs en un seul fichier (+ Ouverture de ce fichier pour controle)
3. Ecriture d’une table, à partir du CSV MS, selon mon format pour pouvoir la réutiliser sour Excel. + Ouverture de ce fichier pour controle et modifications.

Cela me plait bien pour l’instant. Je peux me lancer dans ma liste de sociétés à analyser (~360 pour l’instant)
Je peux partager le script sur Gthub si intérêt.
En tous cas, je suis agréablement surpris de la puissance de Python pour faire cela, avec la librairie Pandas. Ca évite les bons vieux open/close et autres boucles for pour lire les lignes et les stocker dans des structures intermédiaires. J’avais peur de devoir faire cela, mais avec Pandas, pas besoin.

Bonjour Franck,

Ok, du coup mis le script sur Github, il n’y a rien de critique pour l’instant
GitHub - ffoucaud0212/istoan: I Analyze Stocks easily with istoan

C’est assez artisanal
Je fait d’abord -t <ticker> -u pour télécharger les fichiers
Puis les autres options pour archiver, concatener et générer un Excel.
Ensuite, je m’appui sur un fichier excel "template" pour copier manuellement le formatage et les formules.

Les axes d’amélioration à travailler
1. Le téléchargement automatique de MorningStar (Optionnel, je n’ai pas envie d’être pisté)
2. La gestion des formules: dans Python ou rester dans Excel (via une macro)? Dans Python, il faudra alors que je travaille sur un moyen de mettre à jour les calculs (en bleu) à partir d’une feuille déjà remplie. Dans Excel, il faut que je trouve un moyen de mettre à jour les données (en vert) sans casser les cellules de calculs.
3. La mise à jour des données et formules quand il faudra ajouter "2019" l’année prochaine
4. Un moyen de recopier les 10 premières lignes dans un Google Sheet
5. Scrapper internet pour récupérer la valorisation, et calculer P/S P/B (Optionnel, je n’ai pas envie d’être pisté, et xlsPortfolio peut aider)

Une fois que la base de données initiales sera constituée, j’utiliserai plutot les PDFs pour mettre à jour les données ou les vérifier et alors il me faudra prioritiser les points 2 et 3.

Bonjour

Mes travaux avancent peu à peu, je continue mon projet en python.
J’ai mis en standby la représentation graphique et me concentre actuellement sur le backtest - je regarde le passé pour prévoir l’avenir.
Ce sujet n’est pas simple et je suis curieux de savoir si vous avez trouvé des méthodes auxquelles je n’aurais pas penser pour faire face aux contraintes que je rencontre.
En effet plus j’avance et plus les calculs à effectuer sont longs.
Je ne suis pas programmeur de métier et suis conscient mon code contient forcément des lacunes mais je me dis qu’ un bon conseil pourrait me permettre d’orienter es travaux dans la bone direction.

Voici les différents sujets:

- le découpage temporel des fichiers de cotations. J’ai plus de 10 ans d’archive, j’ai choisi de créer des fichiers annuels. Est-ce la solution que vous avez retenu ? Avez-vous en tête d’autres découpages ?

- L’utilisation d’itertuples dans panda:
J’utilise actuellement itertuples car ça fonctionne bien et j’arrive aux résultats escomptés.
Est-ce que itertuples utilise beaucoup de ressources ? Y a-t-il d’autres solutions simples demandant moins de ressources ?

- du fait de mon statut de non professionnel de la programmation je me suis orienté vers de la programmation fonctionnelle. J’ai quelques notions en programmation objet mais ne les utilise pas pour le backtest.
Pensez-vous que la programmation orientée objet est plus adaptée à la réalisation de backtest ?

- je n’ai pour le moment qu’un seul ordinateur dédié au backtest et à la partie dynamique. Conseillez-vous de séparer les deux ?

Dernier point pour @Franck Chalmers, j’ai bien aimé le concept de l’univers d’Astérix.
J’ai donc choisi aussi d’en créer un, mes fonctions s’appellent:
- suricate
- hive/ruche
- squirrel/écureuil
- bumble bee/bourdon, …

Bon codage à tous et/ou bonnes vacances

Bonjour !

Content de voir que vous avancez, pour ma part je ne fais que de la maintenance faute de temps, aussi bien pour le code (les mises à jour de pandas/matplotlib cassent parfois des choses) que pour les données (les scrapers ont parfois besoin d’être modifiés pour coller aux évolutions des sites, ainsi va la vie) donc rien de bien intéressant à poster de mon côté.

Je me suis heurté aux mêmes écueils pour Pronostix, mon programme de backtest, je vais donc répondre à vos questions même si je rejoins l’avis de sven337 : il vaudrait sans doute mieux utiliser une lib existante et maintenue, pour bénéficier du travail d’optimisation et de debug collectif.

Mes données (29 ans de cours, sur les seules actions) sont dans une base Postgresql, donc le découpage des fichiers de cotations importe peu. Si vous faites un read_csv() pour chaque fichier ça peut ralentir tout votre processus, en tout cas ça sera beaucoup plus lent et compliqué que de lire depuis une base de données quelconque.

La méthode la plus rapide que je connaisse pour itérer sur une dataframe est for row in df.itertuples(name=None):, mais on perd les noms des colonnes au passage. Rien d’insurmontable, mais ça rend le code dépendant à l’ordre et au nombre des colonnes.

Pour gagner en vitesse d’exécution il y a bien PyPy - Welcome to PyPy mais il vaut mieux bien maîtriser Python avant de s’y lancer, il y a souvent des soucis de compatibilité ou des différences comportementales. Le jeu en vaut toutefois la chandelle, sur des programmes qui doivent faire beaucoup d’opérations sur une durée un peu longue le JIT est efficace.

Pas de raison qu’un type de programmation soit plus adaptée qu’un autre, dans un cas on allouera des classes dans l’autre on empilera des appels de fonctions. Pronostix est orienté objet (une classe Broker, une classe Portfolio, une classe Strategy de laquelle sont dérivées une classe par stratégie testée…), et n’irait pas plus vite en fonctionnel.

Un truc qui peut faire la différence, par contre : toujours utiliser les opérations vectorisées de pandas/numpy au lieu de faire les calculs soi même, typiquement pour le calcul des indicateurs techniques comme les moyennes mobiles.

Tant que le CPU ou le disque de votre machine n’est pas à 100%, vous ne gagnerez rien à scinder vos calculs sur deux machines à part de nouveaux problèmes (le réseau va ajouter de la latence, par exemple).

sven337 a écrit :

Pourquoi récrire votre propre code de backtest ? Il existe des bibliothèques qui font ça bien, par exemple bt/ffn. Je suis certain qu’il y en a plein d’autres.

Je vais compléter en citant zipline, qui est assez réputée. Quantopian fournit également tout un environnement de backtest accessible et performant, je vous conseille d’y jeter un oeil.

sven337 a écrit :

Écrire correctement ce genre de chose est difficile.

Très difficile ! D’ailleurs en parlant d’overfit, attention à ne pas inclure par mégarde de l’information du futur dans votre jeu d’essai ou vos calculs, ça arrive plus vite qu’on ne le croit et c’est aussi difficile à détecter qu’à corriger… ça m’est arrivé sur un réseau de neurones qui avait des résultats trop beaux pour être vrais, comme c’est souvent le cas

Have fun !

Comme beaucoup ici, je me débrouille en Python/Pandas même si je ne l’utilise pas (encore) pour mes investissements, préférant google sheets qui est assez fluide, visuel et très pratique pour du multiplateforme.

Pour ceux qui ont connu feu-etf360, j’aimerais développer un algorithme pour déterminer un pool de tracker pour suivre une allocation cible, et les transactions à effectuer pour la respecter (on verra plus tard pour du momentum…). C’est un projet pour lequel je compte publier les sources une fois que j’aurais quelque chose d’opérationnel.

Pour cela, j’ai besoin de données d’entrée :
* les cours des trackers : pas trop dur à trouver
* la composition des trackers par entreprises/pays/secteur : il y a quelques infos sur les sites de certains émetteurs de tracker mais une API ou un site regroupant les infos serait préférable.

J’ai vu que certains d’autres vous utilisaient morningstar. Sur le site j’arrive bien à accéder aux csv à la main mais je n’arrive pas à en extraire le lien… Idem pour l’allocation : je peux y accéder à la main mais je n’ai pas identifié comment télécharger le CSV (j’aimerais autant que possible limiter le scrapping).