Comment trouver/évaluer la crédibilité de ses sources scientifiques ?

A l’excellent poste de Bernard2k (capacités du récepteur, la pratique), j’ajouterai deux points.

1. La littérature scientifique est en perpétuelle évolution. Tous ceux qui ont participé à des protocoles de recherche (par ex. médicaux, comme patient ou comme praticien, qu’il s’agisse de protocoles observationnels ou randomisés avec groupe de contrôle) savent bien que ce qui est ’vrai’ le lundi le sera peut être le vendredi mais pas le mois suivant…

Qui a le temps d’ingurgiter un corpus souvent copieux? Puis de suivre tout ça de façon régulière? On pourra me direz-vous se référer aux méta analyses. Mais comment les analyser et être capable d’en cerner les limites? La qualité? Et savoir ce qui a été produit sur le sujet entre la production de cette méta analyse et aujourd’hui?

2. Dans le processus scientifique / de compréhension réellement éclairée de n’importe quel sujet, un élément important est l’environnement professionnel. Pour être plus précis : tous les échanges plus ou moins informels avec ses confrères. Dans le couloir, à la cantine, lors de colloques, échanges par courriels etc.

Si on pense être capable de décrypter la littérature, qui va m’apporter la contradiction? Les nuances à apporter pour évaluer ce que je pense avoir compris? Comment serais-je au courant des développements qui ne sont pas encore parus? Des hypothèses en cours de recherche et qui pourraient bien remettre en question ce que je pense savoir?

----------------------------------------------------------------------------------------------------------------

Pendant la Covid, beaucoup se jetaient à la figure des études, qu’elles soient publiées dans le journal de Mikey comme dans Nature. C’était bien parce que ’factuel’ … t.u parles Charles. C’était surtout forcément vain : la connaissance évoluait [b]tous les jours à ce sujet.[/b] Et l’aspect multi factoriel des processus à l’œuvre rendait totalement illusoire d’avoir un avis ’scientifique’ dessus.

Attention : tout ça n’excluant pas de lire des trucs à droite et à gauche, ne serait-ce que par curiosité intellectuelle. Mais là on est dans le hobby.

Dernière modification par carignan99 (21/09/2022 17h18)

Kabal a écrit :

Ursule a écrit :

DOUTER DE TOUT ET VÉRIFIER SES DOUTES

Rien que ça, c’est déjà n’importe quoi en soit. Douter de tout revient à douter que 1+1 = 2. Vous pouvez en douter mais déjà ca prendra du temps pour vous faire une opinion et démontrer que c’est vrai (ou pas).
Bernard2K dresse un petit aperçu de la réalité. La réalité c’est que personne n’a la capacité de comprendre et de douter de tout ni même n’a la capacité de comprendre tous les sujets. On peut lire tous les articles scientifiques, si on a pas le bagage qui va avec, ça ne sert à rien. Au mieux, on va connaitre quoi 1 ou 2 domaines et le reste on sera le même "idiot" que les autres.

Merci de votre contribution Kabal. Il me semble néanmoins que vous passez à côté du message. Par exemple, je n’ai pas les compétences pour déterminer si Raoult avait tort ou raison (je ne suis pas médecin et je ne comprends rien à l’hydroxychloridine), par contre j’ai celles pour déterminer si ses pairs pensaient que son étude était sérieuse ou non.

Quand Raoult était interrogé de toutes parts par des sources légitimes à propos de son étude fantaisiste, il était très simple de vérifier s’il fallait l’écouter ou non. Avec ces petites astuces (Google Scholar, indice H5, vérification du magazine scientifique), cela aurait pris 5 minutes à un journaliste et à tous ses supporters.

Il ne s’agit pas de comprendre l’ensemble du contenu, mais de juger si celui-ci a été validé par ses pairs. S’il l’a été, alors il peut-être jugé comme une source fiable. Sans cela, cela ne vaut pas mieux que l’avis d’un sinistre inconnu.

Amicalement,
Ursule

@mimizoe1 : Je trouve aussi que certains intervenants exagèrent en se rassurant que toute connaissance spécialisée est définitivement hors de portée du profane.

Ce forum est en lui-même un contre-argument de poids : combien de personnes sont passées ici en quelques années d’un niveau de connaissance en comptabilité, droit immobilier, fiscalité proche de zéro à un niveau rivalisant celui d’un professionnel ?

Franchement, des notions de bases en biologie moléculaire ou en immunologie sont à la portée de n’importe qui ayant un minimum d’intérêt pour le sujet, et suffisantes pour au moins rivaliser avec les journalistes qui font de la vulgarisation scientifique avec plus ou moins de bonheur comme le souligne avec justesse Ursule.

C’est comme tout, il faut avoir conscience de ses limites (comme le dit Kabal, nous sommes contraints d’avoir confiance en un minimum de connaissances axiomatiques pour fonctionner), mais il ne faut pas non plus s’interdire d’essayer de comprendre, et confronter sans arrêt sa compréhension à celle de personnes plus compétentes pour progresser.

Je trouve ça triste de se résigner à un rôle complètement passif sous prétexte qu’il y a des personnes plus compétentes sur un sujet. Si je pensais comme cela, je ne serais jamais devenu développeur (j’ai appris à programmer sur Internet pendant mon enfance), j’aurais probablement un niveau d’anglais beaucoup plus faible (j’ai appris sur Internet, sur IRC et les forums de warez, pas dans mon collège de ZEP), et je n’aurais certainement jamais osé aller vivre en Chine (nouvelle langue apprise sur le tas, création d’entreprise à l’étranger, …).

C’est aussi en forgeant qu’on devient forgeron !

Enormément de journaux a H score elevé ont écrit et maintenu encore des énormités, reprises par tous les gouvernements et specialistes, totalement contredites au bout de 6 mois un an par les faits. il est vrai plus dans la conclusion et l’interpretation exagérée d’articles que dans les articles eux même. C’est tres difficile de les suivre simplement.
En tant que non scientifique, il m’est impossible de sortir une etude et de confirmer une correlation certaine entre un medicament et un resultat. Donc je ne vais pas lire et dire: "je confirme que la substance XXY protege du covid".  Mais on peut dire qu’il y a des choses interessantes et la repetition d’etudes convergeantes est interessante.

Néanmoins, infirmer une etude ou un article faisant une affirmation extraordinaire (100% sur, 100% efficace/inefficace, ceci stoppe les vagues épidémiques, ceci tue les patients) est relativement simple, grace a un bon detecteur de crotte de taureaux (B.S). Souvent ces etudes ont des resultats assez complexes et une conclusion sans nuance, on en a vu dans plusieurs cotés de la science, que ce soit des pros ou des cons.

En fait, on peut aussi se demander : qu’est-ce qui motive les gens qui vont ainsi chercher de l’information scientifique mal digérée ? Est-ce que c’est la recherche de la vérité ?

A mon sens, les motivations sont vieilles comme le monde :
1) recherche du pouvoir. Le pouvoir de briller par des discours comme si on savait, le pouvoir d’en imposer à son interlocuteur. L’illusion du pouvoir d’avoir compris un sujet scientifique mieux que ces scientifiques en blouse blanche que l’on méprise toujours plus ou moins (gardiens du système, enfermés dans leurs croyances, incapables de penser autrement, etc.).
2) recherche de l’amour. On cherche à briller auprès de gens susceptibles de nous admirer ; on cherche à rehausser l’estime de soi en se disant qu’on a compris un sujet scientifique mieux que les scientifiques etc.

3) Il y a une motivation plus subtile. Un éminent médecin disait que l’humain à besoin de croire à des choses transcendantes et éternelles. Donc de croire en dieu, ou à des choses qui y ressemblent. Il disait en substance : "si les gens vous disent qu’ils ne croient pas en dieu, cherchez quelle est leur religion. Car ils ont une religion, un jeu de croyances par lesquelles ils ont remplacé dieu, et il est très utile de comprendre cette religion pour comprendre ces gens". Or, souvent, ces bouts de connaissances scientifiques tronquées, ça occupe une place dans le panthéon des gens. Je me rappelle avoir entendu quelqu’un dire "en ce moment, j’étudie les fractales". Il y avait dans sa voix une admiration religieuse. Il ne cherchait pas à comprendre les fractales d’un point de vue scientifique, il avait juste besoin d’avoir un objet beau, complexe, admirable, transcendant, à admirer un peu comme on admirait la sainte vierge il y a un siècle ou deux.

En fait, bien peu de personnes cherchent la vérité. Parce que la vérité est décevante ; elle ne fait rien pour satisfaire les besoins et désirs humains profonds tels que la recherche d’amour et de pouvoir. Une fois qu’on a compris que la plupart des gens ne recherchent pas la vérité, mais juste une posture pour satisfaire leur estime de soi et pour briller en société (ou sur les forums) et/ou un nouveau jeu de croyances religieuses (auquel ces personnes vont croire de façon dogmatique, forcément, car le dogme est essentiel à la foi, et c’est bien pour cela que ces personnes sont étanches aux explications rationnelles), on comprend mieux comment ça fonctionne et pourquoi il y a autant de dialogues de sourds.

Pour 1+1=2 il n’y a pas de doute. C’est la définition de 2. En revanche c’est de la fausseté de 2=0, voir de 1=0, dont on peut légitimement douter.

En ce moment,  je fais un cours de L2 dont le programme contient l’arithmétique modulaire. C’est la première technique non naïve de théorie des nombres et justement ce genre de chose s’y produit, ce qui déroute fort les étudiants - et m’avait dérouté la première fois qu’on me l’a dit. Les symboles 0,1,2, + ne désignent pas les mêmes nombres que d’habitude. Le symbole = si.  On peut aussi changer la signification du symbole = mais ce n’est pas au programme de l’UE et j’évite donc  d’en parler pour éviter de perdre les étudiants.

La recherche de la vérité est effectivement un labeur ingrat qu’il est nécessaire d’intégrer à l’éthique professionnelle du scientifique, ce qui ne va pas de soi (le professeur Raoult est très critiqué sur ce point….).

Ce qui est recherché au départ (ensuite, les considérations pratiques, de carrière principalement, viennent occuper une place considérable) est la splendeur de la vérité. Le document mis en lien est là, non pour faire une quelconque propagande religieuse mais en raison de mon admiration pour la splendeur de la formulation,  et pour confirmer l’analogie avec la démarche mystique ou artistique.

En revanche se fier uniquement au nom de la revue pour décider la valeur d’une publication est naïf. Certaines revues ne valent rien, il est difficile de savoir lesquelles si on n’a pas d’expérience de lecture professionnelle des publications scientifiques du domaine. Quant aux bonnes revues, si on ne sait pas reproduire les expériences ou mettre à l’épreuve les théories soi-même, on est assez dépourvu.  Il y a quand même beaucoup d’articles faux qui se publient - même en maths. Et même en tant qu’éditeur ou qu’auteur, je peux témoigner qu’il est difficile d’obtenir des rapports de referee de qualité.   Attention aussi aux revues prestigieuses, elles sont sujettes aux phénomènes de mode et de rapports de force entre communautés scientifiques.

Dernière modification par Caratheodory (22/09/2022 10h20)

@Bernard2k : Vous avez oublié un petit 4) En tirer personnellement profit, c’est pourtant celle qui devrait intéresser le plus un investisseur !

Personnellement je suis bien content d’avoir eu le temps et l’opportunité de me forger ma propre opinion lors de l’orgie de propagande qui a caractérisé l’ère COVID. J’investis pour améliorer ma qualité de vie et celle de ma famille, ce n’est pas pour risquer de la remettre en cause en me laissant berner. J’ai partagé mes raisonnements ici parce que j’aime bien tester mes opinions à l’épreuve du feu, et parce que c’était potentiellement un bon tuyau si j’avais raison ; j’aime bien aider mon prochain, surtout lorsque cela ne me coûte rien

D’ailleurs, c’est intéressant que le post original mentionne le Pr. Raoult* : il semble que tout le monde ait oublié que l’hypothèse d’un effet antiviral de l’hydroxychloroquine venait à l’origine d’un papier publié par une équipe chinoise au tout début de l’épidémie. J’avais vu passer ce papier avant qu’on en parle en France (mais après que Mme Buzyn n’interdise sa vente libre). J’avais aussi acheté un stock de masques FFP3 à la même période, en voyant les informations effrayantes qui venaient de Chine et en prévision d’une ruée sur les masques. J’envisageais juste une hausse des prix, mais pas une pénurie. Voyez le bénéfice personnel d’être informé : alors qu’en France on fabriquait stupidement des masques en tissu aussi protecteurs que la couverture de sécurité de Linus dans les Peanuts, j’avais acquis en avance pour moi et ma famille du matériel de protection personnel efficace. Bon, avec le recul, cela n’a probablement servi à rien, mais à l’époque c’était plus prudent

La vérité, dans certains cas, confère un avantage sélectif à celui qui la détient.

                                                                                ***

* Quelques pensées supplémentaires au sujet du Pr. Raoult : son tort principal c’est de ne pas avoir compris que la nature du jeu auquel il participait avait fondamentalement changé. Il s’est comporté comme le médecin du XXème siècle qu’il est, en croyant que la société attendait un homme providentiel (lui) pour la sauver. Indépendamment de la justesse de ses thèses et de son entêtement à les défendre, son erreur principale a été de ne pas comprendre qu’au XXIème siècle le héros solitaire est fondamentalement indésirable.

Les seuls héros autorisés le sont au sein d’un collectif, interchangeables et surtout jetables. Cela a commencé à l’aube de ce siècle avec les "first responders" du World Trade Center, de braves employés qui ont enduré des conditions de travail dangereuses pour nettoyer les conséquences de la politique étrangère américaine. On les a "célébré" sur le coup, pour mieux les laisser tomber lorsqu’ils sont tombés malades du cancer quelques années après avoir respiré le poussier toxique qui enveloppait les décombres du WTC. On a fait de même avec ces infirmières qui dansaient sur TikTok et étaient applaudies à 20 heures, pour mieux les virer quelques mois plus tard si elles refusaient la piqûre (quitte à faire travailler des personnes infectées, mais vaccinées). L’extrême le plus ridicule, c’est probablement "Delivery Hero" : l’idée derrière ce nom insultant, c’est que leur employé risque sa vie en roulant comme un fou à vélo pour apporter des sushis à un col blanc. Le héros actuel, c’est le conscrit ukrainien qui a une espérance de vie de quelques mois mais qui "défend les valeurs de l’occident". C’est l’étape suivante après Stakhanov et Lei Feng, on n’a même plus besoin de connaître leurs noms.

Le héros du XXIème siècle est donc avant tout un employé qui se met personnellement en danger, idéalement se sacrifie en silence, surtout pas un cowboy solitaire qui triomphe sans coup férir. Pourquoi ? Dans une ère où la réalité est construite à partir de la communication, il est beaucoup trop dangereux de faire reposer toute une nouvelle réalité sur les épaules d’une seule personne, aisément identifiable et nécessairement faillible. Il suffirait alors de démolir l’homme pour faire tomber la "réalité" dans laquelle des gens sérieux ont investi. A l’inverse, chaque sacrifice anonyme renforce et donne corps à la réalité nouvelle : la sueur, les larmes et le sang versés la rendent de moins en moins contestable, puisqu’il faudrait sinon affirmer l’insupportable - que tous ces héros ont souffert, voire sont morts en vain !

L’homme providentiel est donc devenu un talon d’Achilles (ou plus vulgairement, single point of failure) inutile à notre époque. Au delà de cette vulnérabilité, il présente un autre risque, encore plus grave. Eriger une personne en héros lui donne trop d’influence et donc de pouvoir sur la réalité. Par exemple, en se focalisant sur les soins, Raoult s’inscrivait en porte-à-faux avec le consensus de réponse épidémique déjà construit à l’époque du virus H1N1. S’il avait eu raison, il aurait pu à lui tout seul faire capoter toute la logique présidant à l’autorisation d’urgence de mise sur le marché dont ont bénéficié les vaccins.

Regardez le Dr Fauci, qui à l’inverse a parfaitement compris le rôle que peut endosser un individu influent dans ces conditions : comme il l’a dit lui-même pour répondre à ses détracteurs, il "représente la Science". En incarnant la Science, il fait le choix délibéré de n’être que le vaisseau d’un consensus vague et changeant. Ce consensus est protecteur : Raoult a été humilié et insulté publiquement pour ses thèses, mais on serait bien embarrassé de savoir vers qui pointer un doigt accusateur au sujet de l’utilisation cavalière du remdesivir, qui a objectivement tué : The Strange Story Of Remdesivir, A Covid Drug That Doesn?t Work Le pendant des masses de héros anonymes voués au sacrifice, c’est la masse indistincte de l’opinion majoritaire qui permet d’absoudre chacun de la responsabilité de ces "justes" sacrifices, pour le "bien commun".

Je ne sais pas comment se sentent ces personnes sans visage qui ont été impliquées dans le scandale du remdesivir, mais au moins Raoult doit bien dormir la nuit - même si la thèse qu’il a épousé est fausse (ça arrive !), a priori il n’a pas de sang sur les mains.

Dernière modification par doubletrouble (22/09/2022 12h22)

Une petite dernière, pour la route

Ursule, le 21/09/2022 a écrit :

L’exemple le plus emblématique à mes yeux est celui du Pr Raoult et de son étude sur l’hydroxychloroquine au tout début de la pandémie de Covid-19, qui a fait de la France la risée des scientifiques les plus sérieux du monde pendant quelques temps.

carignan99 a écrit :

Dans l’exemple que vous citez (une étude, on ne sait pas laquelle mais peu importe), y a t-il des paris qui ont exprimé un avis contraire de ceux que vous retenez? En règle générale, prenez-vous soins d’examiner l’ensemble des travaux (ceux qui valident l’hypothèse, ceux qui l’infirment?)

Ursule a écrit :

Merci de votre contribution. L’étude "on ne sait pas laquelle mais peu importe" comme vous le dites, fait l’objet d’un paragraphe entier dans mon premier message, avec un lien qui plus est…

Oui, il y a bien un lien (que je remet ci-dessus, votre post initial), que je n’avais en effet pas remarqué (lecture trop rapide). Vous attirez mon attention dessus et donc j’ai cliqué. Il mène à une étude publiée en juillet 2020 (loin du début de la pandémie donc) par huit auteurs (dont l’inénarrable Martine Wonner) … dont le Pr Raoult ne fait pas partie. Donc de deux choses l’une :

- Ou bien je n’ai pas les yeux en face des trous (possible - en plus il faut que je change de lunettes)

- Ou bien (si j’étais taquin) il va falloir affiner votre méthodologie. Parce que si on se met à attribuer les articles des uns à d’autres, on ne va pas s’en sortir

@carignan99 : Je crois que les papiers du Pr Raoult se basaient sur des travaux plus anciens, dont celui-ci : Chloroquine is a potent inhibitor of SARS coronavirus infection and spread - PMC (2005, pour le SARS-CoV)

Et je crois que j’avais entendu parler d’une possible utilisation thérapeutique de la chloroquine (il n’était pas encore question d’HCQ début 2020) pour la première fois via cette étude : Therapeutic options for the 2019 novel coronavirus (2019-nCoV) - donc un mois après le décret.

Après, ce n’est pas un sujet qui m’a passionné car le flux d’information m’a assez vite rassuré sur le risque réel que le virus représentait pour moi. J’avais clairement sur-réagi en Décembre-Janvier lorsque j’avais acheté les masques FFP3.

Je rejoins et développe certains avis … critiquer un article, ce n’est pas à la porte de tous.

1) En médecine, nous sommes formés pendant 3 ans à la LCA (Lecture Critique d’Articles), c’est d’ailleurs la matière qui possède le plus gros coefficient lors du concours de l’internat (autrement dit, on la buche).
Ainsi, à moins d’avoir été longtemps formé à la critique d’articles et à ses subtilités, personne ne peut le faire. Même moi je suis rouillé dans le sujet, car à moins de manger des articles quotidiennement par paquets de dix (certains le font), c’est impossible de critiquer efficacement les études scientifiques. C’est illusoire de croire que monsieur ou madame Toulemonde peuvent, grâce à Sci-Hub, devenir un critique éclairé, désolé. C’est un métier à part entière.

2) Ensuite, un article en soi ne vaut rien.
Pourquoi ? Parce que ce n’est jamais un article scientifique qui va amener à un changement de pratiques (c’est pour cela que le Pr Raoult a bien fait rire toute la communauté médicale avec son pauvre article à la qualité méthodologique digne d’un sondage micro-trottoir).

Ce sont plusieurs méta-analyses de bonnes qualités (analyse de plusieurs études à haut niveau de preuve) qui pourront, peut-être conclure sur quelque chose. Et encore, très souvent, la conclusion est : "nous ne pouvons rien en conclure" (c’est frustrant, mais c’est ça la recherche).

Au mieux, un article unique va permettre de s’interroger, de se poser des questions, et encore, pour cela il faut que la méthodologie soit impeccable, que le recueil soit excellent, etc.

Voilà voilà, faites confiance aux "sachants" (ou aux platistes, selon votre camp, je ne cherche à convertir personne).

…et bien on ne traite pas !
Principe n•1 en médecine : primum non nocere (ne pas nuire).