La programmation Python et les IH

C’est un beau projet ! Et j’aime beaucoup les noms

Je suis développeur également, C et Python. Mon seul projet perso releaseable c’est une plateforme e-commerce. Son intérêt principal est d’être découpée en webservices spécialisés (donc le front est isolé des données sensibles) et de permettre un fonctionnement classique ou marketplace (multishop). Je la publierais sous licence CeCILL quand le backoffice sera plus joli…

@FrankChalmers,

J’avais un peu utilisé Python, mais plus orienté "système".
En tout cas, merci pour les belles images/copies d’écran. Mais, si c’est bien joli, cela m’amène à poser quelques questions :
- il n’y a pas d’interface graphique native en Python, laquelle avez-vous utilisée ?  (Tk, WX, QT, WinForm, HTML, …)
- les gestions de données incluses dans Python sont rarement utilisées seules. Avez-vous utilisé un SGBD et lequel ?  (SQLite, MariaDB, MySQL, DB2, SQL-server, Oracle, PostgreSQL, etc.)
- Comme je suppose que vous ne saisissez pas toutes les données, vous devez allez les chercher quelque part. Perso, j’avais tenté de récupérer les données de Google-finance, avant de remarquer que Google ne fournit pas toutes les données sur tous les titres (par exemple les dividendes sur les actions européennes). Quelle(s) source(s) avez-vous utilisé ? 
- Python a deux grandes branches : 2.x et 3.x ; quelle voie avez-vous choisie ?

Finalement, si j’ai bien déduit, Python ne vous sert que de colle pour assembler des modules disparates.
Ce qui m’amène à une dernière remarque. Perso, j’étais très sensible aux dépendances et aux risques liés à la pérennité des logiciels. Or toute dépendance accroît fortement le risque, et ce d’autant plus que les modules/bibliothèques externes ont leurs propres dépendances.

Un jour, j’avais vu un magnifique logiciel, qui utilisait une bibliothèque connue pour gérer une API Web. Or, cette bibliothèque utilisait un petit module pour gérer SOAP. Or, ce module n’était plus développé depuis plusieurs années. Le risque était qu’une simple évolution des normes aurait rendu le logiciel inutilisable. C’est le grain de sable qui bloque toute la machine.

C’est pour cela que je vous interroge sur les outils que vous avez utilisés pour développer votre outil.

Impressionnant boulot FrankChalmers !

Je suis développeur Python depuis 10 ans. C’est le genre de projet sur leque j’adorerais bosser sur mon temps perso (déjà bien occupé malheureusement). J’ai quelques scripts maisons (e.g. pour remplir des spreadsheets Google Drive) mais c’est tout.

En projet de le partager sous licence libre et de le mettre sur e.g. GitHub ? ;-)

Hello,

Lestransactions.fr est essentiellement fait en Python 3 (Jinja2 et Flask -un framework python- pour le front, et du python côté back pour le crawling et les alertes mails).

Pour info le site dispose d’une API (API LesTransactions.fr) donc vous devriez pouvoir intégrer facilement les transactions de dirigeants à votre outil (une requête POST avec l’ISIN et l’appli vous renvoie un json avec toutes les transactions pour cet ISIN).

N’hésitez pas à me contacter si vous voulez discuter plus en détails de développements communs.

Dernière modification par Geronimo (21/08/2017 14h11)

Tout d’abord, merci à tous pour vos retours

@doubletrouble

Je fais moi aussi du C (et du shell, évidemment - tellement évident qu’on l’oublie toujours), mais surtout pour du développement système - peu adapté ici donc, surtout que les librairies que j’utilise sont déjà optimisées avec du code C/C++ pour la plupart.

Avez-vous utilisé un framework particulier (django, joomla… autre ?) pour votre projet ? N’hésitez pas à nous indiquer quand vous en ferez la publication en tout cas, je gage que ça peut intéresser du monde

@blackfalcon

Quels autres langages, par curiosité ? J’en ai essayé plusieurs avant de me fixer sur le python, tellement déroutant de simplicité qu’il rend le complexe trivial, c’est vraiment un langage qui vaut le coup d’y investir un peu de temps

Je n’ai pas vraiment réfléchi à la question de la publication, d’autant que sans base de données il n’a pas vraiment d’intérêt autre que didactique… disons que ça reste un sujet ouvert.

En effet pour les cryptos, c’est ce qu’on m’a expliqué. Il faudrait que je m’y plonge pour me forger un vrai avis sur le sujet, pour le moment je suis assez ambivalent sur ces monnaies et me contente de les suivre de loin, considérant que c’est une variante à la mode du forex, la liquidité en moins…

@M07

J’utilise également Python à peu près quotidiemment pour du développement système, là mon choix de faire une interface graphique "lourde" a été dicté par la curiosité (découvrir tkinter, en l’occurence) et la nécessité (j’utilise matplotlib pour générer mes graphes, et vus les temps de traitement sur des périodes un peu plus longues que quelques années le navigateur finirait par perdre patience… à moins de rendre les graphes côté client en JS, vu que c’est matplotlib qui accapare la majorité du temps de génération).

Côté db j’utilise PostgreSQL pour stocker et interroger mes données (directement en SQL, via psycopg2 et pandas donc). La base est nourrie par divers "scrapers" qui s’occupent de consulter les pages de cours sur divers sites boursiers, d’extraire les données de la bouillie généralement informe qu’est leur HTML (via Beautiful Soup) puis de générer des fichiers CSV avec les données désirées, qui sont ensuite versionnées (git) et importées.

Je suis moi aussi passé par les pages finances de Yahoo et Google, j’ai d’ailleurs aspiré la plupart de mon historique depuis Yahoo pour les cours, et depuis divers sites de courtiers pour les listes de dividendes. Je n’utilise plus les pages finances depuis : c’est pratique pour récupérer d’un seul coup les données historiques, mais pour la maintenance quotidienne il vaut mieux interroger des pages listant les valeurs et cours de la journée (moins de requêtes, ça arrange tout le monde et on peut aussi collecter les cours intraday si on en a envie).

Python 2 est agonisant, je suis donc parti directement sur Python 3. J’ai la même approche que vous concernant les modules, étant moi aussi plus d’une fois tombé sur de magnifiques projets complétement obsolètes, et parfois sur des livres dont les exemples étaient antédiluviens, ce qui est extrêmement pénible et frustrant… J’ai donc essayé dans la mesure du possible de me cantonner à des modules "éprouvés" - je pense que vous conviendrez que la liste suivante est raisonnable :
- ceux fournis avec python même : tkinter et un paquet de modules de la librairie standard (datetime, notamment)
- les modules tiers majeurs : matplotlib pandas numpy beautifulsoup4 tensorflow
- les modules tiers "mineurs" : psycopg2 pygments dateutil keras
Je considère ici comme mineur un module dont la disparition soudaine ne me chagrinerait pas outre mesure : certes je devrais adapter mon code, au pire forker ledit module, mais ils ne sont pas "vitaux" contrairement à un module majeur où je serais bien plus embêté (matplotlib et pandas doivent représenter à eux seuls la grande majorité du code, en l’occurence). Quant à ceux faisant partie de la librairie standard, je ne m’inquiète pas outre mesure pour leur pérennité.

Toutefois il n’y a pas que le code qui risque de disparaître, il y a aussi les sources de données… risque que j’ai "dilué" en multipliant les scrapers, et donc les sources de données potentielles - ainsi la "panne" de yahoo finance suite à une modification d’API ayant cassé pandas_datareader ne m’a que fort peu impacté, les autres scrapers étant là pour compenser (et ayant déjà récupéré les valeurs historiques).

@Nappy

Vous savez, ce projet a commencé un peu de la même manière

Je me demande quelle taille github autorise pour les repos non payants… avec tous les CSV on flirte avec le GB, sans compter les metadonnées de git lui même, et sans db l’intérêt est assez limité. Peut être avec un simple CSV d’exemple, une sorte de démo technologique… mais ça a peu d’intérêt, je pense.

Une chose que je pourrais faire, par contre, serait d’enfin réunir mes propres modules et d’en faire un paquet pip autonome… ça me simplifierait aussi la vie, cela fait un moment que je me le dis

Ha, la limite semble "poliment" fixée à 1GB…

@roudoudou

Merci, mais le meilleur est encore à venir

@Geronimo

Votre site est diablement intéressant, comment en avez vous eu l’idée ? Suite à votre certification AMF j’imagine ?

En tout cas il va clairement falloir que j’intègre vos données oui, la tâche la plus difficile sera de trouver un nom à l’onglet Je pense que ça sera mon prochain développement, entre deux entraînements de réseaux de neurones. Je vous tiens au courant, et pourquoi ne pas collaborer sur des développements en effet !

@bombadil

Ha, vous avez poussé plus loin que moi, bravo Ayant utilisé Django vous devriez pouvoir le mettre en ligne aisément je pense, attention toutefois à bien tenir Django à jour, les scanners automatiques veillent… le web est un environnement hostile Toutefois comme vous le dites il manque également cruellement d’applications d’analyse fondamentale, il y aurait donc ici un public tout trouvé pour votre projet… si cela vous intéresse d’essayer de sauter le pas et d’ouvrir votre application sur le web, n’hésitez pas à me contacter

Votre processus semble très intéressant en tout cas, j’espère pouvoir faire de même mais il va déjà falloir que j’enrichisse ma base de données avec les informations fondamentales (vous les collectez où, directement sur les sites des sociétés je suppose ? quid du parsing des documents ?), jusqu’à présent je ne l’ai fait qu’à la main et pour une poignée de sociétés dans lesquelles je songeais justement investir… et surtout, que je m’instruise convenablement sur les méthodes - j’ai déjà parcouru le site des daubasses et bien que je pense avoir saisi les principes généraux, il vaut mieux que je lise les classiques sur le sujet avant de me jeter dans le code

doubletrouble a écrit :

Je partage votre méfiance vis à vis des dépendances. On a vu ce que ça donnait quand une floppée de projets node.js ont crashé car le module left-pad avait été retiré de NPM…

Pour contrer ça, j’essaye de limiter intentionnellement le nombre de dépendences et j’inclus leur code source dans le tree. Au pire des cas, si le module est abandonné il est toujours possible de maintenir un fork personnel.

Depuis cet épisode, les mainteneurs du dépôt interdisent la dépublication 24h après la publication. Cela ne peut donc plus arriver. Vous devriez revoir votre approche parce que dupliquer les sources… bref (hurlement intérieur)…

bombadil a écrit :

De manière générale, sur le web, je trouve qu’il manque des outils d’analyse fondamental sur les actions. On trouve plétore d’outils d’analyse graphique mais peu sur le fondamental. Ce forum est pour moi ce qui se fait de plus pointu en termes de partage sur les analyses fondamentales.

FrankChalmers a écrit :

Votre processus semble très intéressant en tout cas, j’espère pouvoir faire de même mais il va déjà falloir que j’enrichisse ma base de données avec les informations fondamentales (vous les collectez où, directement sur les sites des sociétés je suppose ? quid du parsing des documents ?), jusqu’à présent je ne l’ai fait qu’à la main et pour une poignée de sociétés dans lesquelles je songeais justement investir… et surtout, que je m’instruise convenablement sur les méthodes - j’ai déjà parcouru le site des daubasses et bien que je pense avoir saisi les principes généraux, il vaut mieux que je lise les classiques sur le sujet avant de me jeter dans le code

Les cours sont faciles à récupérer : même Euronext les donnent à télécharger en CSV depuis son site. Pour les données fondamentales, c’est une toute autre histoire. C’est un très gros travail de collecte/vérification/correction de données qui est nécessaire et ceux qui le font vendent l’accès à leur base : stockopedia, bloomberg… Évidemment, une partie des données est accessible publiquement mais il est interdit d’écrire, et encore moins de diffuser, des scrapers pour ces sites.

Quant à la source de données à choisir, cela a déjà été discuté dans le fil « Extraire dans un fichier les données fondamentales des actions ? », ça devrait vous intéresser.

Cela ne vous empêche pas de publier toutes vos applis en libre/open-source mais je pense qu’il faut isoler dans un module à part le scraping (une classe à implémenter pour récupérer les données fondamentales étant donné un ISIN ou un ticket) et laisser l’implémentation vide par défaut, à charge à chacun de trouver une façon. (ce qui n’empêche pas de faire circuler les implémentations réelles des scrapers par ailleurs sur des canaux plus discrets ?…)

Dernière modification par Gog (22/08/2017 09h25)

Pour les données fondamentales, je les scrappe avec Beautiful Soup depuis WSJ
5 dernières années et 5 derniers trimestres y compris les valeurs européennes.

A ma connaissance en gratuit, 5 ans est la plus longue période que l’on peut trouver

@ FrankChalmers

Je suis trés différents de la majeure partie des membres du forum , trade depuis 30 ans et en vit depuis 15 ans (passant du daytrading sur future au swingtrading) , la partie accumulation du capital est terminée, il me faut juste qu’il ait un certain rendement pour assurer une paye régulière.

Mon approche est uniquement technique… approche par secteurs.. money management…seulement les gros titres (une dizaine) ou ETF nord américains … des in/out…, donc le fondamental ne me sert pas a grand chose. Je ne cherche plus les petits titres sous evalués qui vont exploser.

Si le technique vous interesse tant soit peu , je ne peux que vous recommander la lecture de: Trading Systems and Methods (Wiley Trading): Perry J. Kaufman , sur le paquet de livres d’AT que j’ai (40-50 ?), c’est le meilleur et de trés loin.

J’ai consacré bien trop de temps à peaufiner la méthode (graphiques) , mais maintenant c’est ok , je regarde l’ouverture et un peu avant la fermeture , l’heure du midi si je veux entrer sur un titre , de plus la plupart du temps quand j’achète je place l’ordre de vente..je suis beaucoup support/resistances pour mes in/out.

@ FrankChalmers

Avant de monter tout un système de trading, il serait bon de définir vers quoi vous vous dirigez…

L’investissement tel que pratiqué ici , les données fondamentales sont importantes pour analyser les titres et les cotes journalières suffisent.

Le scalping intraday avec disons 150 trades par jour , toujours sur le même titre , les cotes en ticks et les détails sur les positions des market makers..

Entre les deux il y a une foule de techniques et de méthodes allant du trés court terme au swingtrading de quelques jours.

Je dirais que plus c’est court, plus c’est risqué et demande des connaissances de trading, un peu comme la conduite en rallye demande plus que la récente obtention du permis de conduire….Si c’etait facile, on serait tous riches..

Une technique bien expliquée ici est celle de Miguel sur la vente de put….A lire et relire tant qu’a moi..

Silicon a écrit :

Avant de monter tout un système de trading, il serait bon de définir vers quoi vous vous dirigez…

J’en suis bien conscient, désolé si mes messages prêtent à confusion… actuellement la (petite !) partie de mon capital que j’ai allouée à la bourse est investie à long terme et non "jouée", d’où mon intérêt à inclure les données fondamentales dans Prolix : actuellement quand je repère un titre qui semble prometteur je dois aller vérifier manuellement les chiffres et trouver les documents utiles, autant ne pas avoir à quitter le logiciel… et inversement, cela me permettrait de constituer une liste de titres "à surveiller", pourquoi pas avec des notifications automatiques… j’aime automatiser

D’un autre côté, étudiant actuellement divers algorithmes d’intelligence artificielle j’ai envie de les tester dans un environnement contrôlé et voir ce qu’ils parviennent à faire. Je n’ai pas l’intention de jouer "pour de vrai" sans savoir ce que je fais, ce serait suicidaire… néanmoins votre retour d’expérience est intéressant.

Deux choses différentes donc, pour le moment du moins.

blackfalcon a écrit :

langage Golang (excellent malheureusement assez peu présent en France)

J’ai quelques collègues férus de ce langage Moi même je serais relativement intéressé si je n’avais pas tout ce qu’il me faut en Python…

Langages d’IA, vous parlez de Prolog ou Lisp je suppose ? Sinon vous savez, je ne suis pas développeur non plus

@makol76 Merci

Python (dans sa version 3) est un excellent langage, à la fois extrêmement simple à appréhender tout en permettant de faire des choses bien complexes, je ne peux que vous inviter à poursuivre vos investigations ! Je ne suis moi même pas développeur, bien que mon secteur m’amène fréquemment à développer je peux donc vous confirmer que Python s’apprend aisément, surtout si vous avez déjà tâté d’autres langages (VB6, hou ça remonte ça ! :p).

Je ne saurais trop m’exprimer sur la partie Windows, n’utilisant plus ce système que pour lancer des jeux de temps en temps. Toutefois je sais qu’il est possible de faire sous Windows à peu près tout ce qu’on fait depuis un Linux, que ce soit de l’intelligence artificielle ou des interfaces graphiques (ou un mix des deux, comme Prolix). Par exemple sentdex utilise fréquemment Windows dans ses (très bons) tutoriels, si vous aimez les vidéos vous devriez y trouver votre bonheur - il a notamment fait plusieurs tutoriels sur le trading algorithmique, et ne reprend pas systématiquement les bases (variables, boucles…) pour se concentrer sur le sujet de la vidéo. Ça se regarde facilement en accéléré, aussi… astuce pour gagner du temps, on peut toujours revenir en arrière et ralentir sur les passages difficiles éventuels

À voir donc, même si à mon avis un Linux offre un bien meilleur environnement de développement/travail je ne pense pas qu’il y aurait de trop gros freins à une utilisation "intensive" sous Windows. Il faudra surtout trouver un éditeur de code décent en fait, je n’ai aucune idée de l’offre de ce côté (mais les gens semblent bien aimer SublimeText, il me semble).

Après tout n’est pas trivial, bien entendu. Les graphes de Prolix sont générés par matplotlib, et j’ai passé un certain temps à me former sur cette librairie (la doc officielle dispose d’exemples détaillés avec lesquels jouer pour appréhender les concepts) et parfois même à lire et patcher son code source (merci au "monkey patching", qui m’aura épargné la maintenance d’un fork local !), mais le résultat en vaut clairement la peine. Nettement plus que mes premières tentatives qui utilisaient un canvas pour peindre directement les éléments, en tout cas

Le scraping est un autre domaine relativement ardu, comme vous le soulevez. J’utilise BeautifulSoup pour scraper les pages web bien entendu (pour les pdf… puissiez vous n’avoir jamais à scraper de pdf !), je n’ai plus les docs que j’avais utilisées en plus de la doc officielle mais ce tutorial semble plutôt bien pour permettre de se lancer. Personnellement je GET la page désirée avec requests, j’enregistre dans un fichier le résultat de soup.prettify() et je me base sur ça pour savoir comment coder mon scraper (chercher tel div avec telle classe, etc). C’est fastidieux, il vaut mieux blinder le code d’assert pour détecter immédiatement les conditions anormales (suite à un changement dans le HTML, généralement) mais ça se fait assez simplement avec un peu d’habitude.

Dernier point et non des moindres, l’interface graphique. J’ai choisi d’utiliser le module de base tkinter, parce qu’il était immédiatement disponible et que son objet Canvas est vraiment plein de possibilités. Mais tout comme matplotlib il faut un certain temps à investir pour se former, voir ce tutorial pour des bases rapides et ce lien pour une référence exhaustive et accessible (une fois qu’on sait de quoi ça parle), bien plus que les docs de tk officielles en tout cas. Les choses sont vraiment devenues amusantes lorsque j’ai fait cohabiter tkinter, matplotlib, psycopg2 (librairie d’accès à ma base de données) et asyncio (n’essayez pas ça chez vous !)…

On ne la voit pas car elle travaille en arrière plan, mais certaines parties auraient été bien compliquées sans la merveilleuse librairie pandas, si vous comptez faire de l’analyse et des calculs sur les cours, je vous conseille de vous y intéresser.

Pour la diffusion, il faut voir. J’ai choisi de placer tout mon code sous license BSD, mais sans la base de données il ne sera même pas possible de le lancer (nonobstant le fait que je ne l’ai jamais testé que sous mon Linux, il va donc falloir que je trie mes dépendances pour que vous puissiez au moins avoir l’environnement nécessaire, sans garantie pour Windows ou Mac par exemple), ce qui réduit pas mal son intérêt… peut être avec un mode spécial "démo" et quelques CSV exportés pour l’occasion (disons un indice, un tracker, une action + ses dividendes pour voir un peu tous les onglets), ou sinon via Google/Yahoo Finance pour avoir des données plus fraîches… si vous avez des idées de sources librement accessibles, que je puisse tester leurs CSV (idéalement au format date;open;high;low;close;volume je pense, avec le nom en ${ISIN}.csv par exemple), je suis preneur pour tenter une intégration. J’aimerais éviter que le code ouvert et mon code local ne divergent trop, sinon les contributions vont être difficiles à gérer

Un dernier "truc" : passez votre navigateur en anglais (au moins pour les entêtes) pour pouvoir utiliser Google US, qui vous renverra souvent (mais pas toujours !), sur StackOverflow. Pour tout ce qui est recherches orientées programmation les résultats sont bien plus faciles à trouver in english, de mon expérience. En désespoir de cause, n’hésitez pas

@franckchalmers
merci beaucoup pour cette réponse très complète ! oui, VB6…j’ai pas non plus dit que j’étais jeune ! Je me suis formé à la programmation quasi tout seul il y a un peu plus de 20 ans, et VB6 étant franchement sympa et simple. En plus je l’ai appris dans le cadre d’un stage pour réaliser un transfert de Fortran vers VB6 pour des problèmes de maintenabilité de matériel… bref.
Depuis, je me suis intéressé à quelques langages, mais en dilettante, sans réel projet : PHP, VB.Net et maintenant python, mais cette fois ci avec un projet. J’ai aussi abandonné l’idée de Scrapy que je ne comprends absolument pas pour beautifulsoup il y a 2 jours, beaucoup plus à ma portée.
Je n’envisage même pas un soft du niveau de prolix. Et si je devais, je pense que je passerai l’interface graphique et les BD sur VB.Net, plus simple à appréhender graphiquement parlant. Maintenant, les SGBD, c’est une autre histoire, je reste coi devant la création de table, les relations 1-n etc etc…Et la lecture de sites, en anglais ou français ou autre ne m’aide pas, ça coince dans ma petite tête, un truc de concept que je n’avale pas. bref encore.
Je vais attentivement regarder vos sources, et oui, j’ai aussi fouillé les sites en anglais, très riches. Mais merci du tuyau ! et encore une fois bravo !

@parentier
hum difficile de dire sans connaitre vos bases, ni votre facilité à appréhender les concepts de la programmation. Pour ma part, VB6 à l’époque où j’étais jeune et vif d’esprit, je l’ai appris en quelques jours et en moins de 2 mois je réalisais un programme qui recevait des données analogiques du terrain, les calculait et les ressortait sous forme de graphique dynamique. Donc la base du python, j’ai mis moins de 4h pour l’apprendre et la comprendre, grâce notamment aux MOOC en français de openclassroom. Mais pour de choses comme scrapy ou beautifulsoup, j’en suis à 8h et ça ne rentre toujours pas…et comme je le disais à Franckchalmers, si on parle de SGBD, au bout de 10j de lecture, je reste hermétique !
Les MOOC pour la base sont donnés pour une durée de 40h, ça semble raisonnable de partir là dessus. Ensuite, ça dépend de vos capacités propres, et lire l’anglais sera un vrai plus.
bon courage en tout cas. Si j’arrive à pondre un truc, je le mettrai à disposition