Une étude du CRPV de Toulouse
ChatGPT est une intelligence artificielle conversationnelle développée par OpenAI (ChatGPT (openai.com)), disponible depuis fin 2022, qui génère des réponses en fonction du texte rentré par les utilisateurs. Les applications de ChatGPT en médecine pourraient être variées notamment en pharmacovigilance dans l’assistance aux demandes d’avis/d’information, l’une des missions des centre régionaux de pharmacovigilance (CRPV). Cette activité est fondamentale dans le diagnostic et la gestion de la maladie médicamenteuse et participe également au bon usage des médicaments1.
Dans ce contexte, l’équipe du centre régional de pharmacovigilance et d’information sur le médicament de Toulouse a voulu tester les performances de ChatGPT (GPT4) dans la réponse à 50 demandes d’avis/d’informations émanant des professionnels de santé et des patients2. L’équipe a comparé la qualité de la réponse apportée par ChatGPT à celles des pharmacologues pour des demandes d’avis portant sur le bon usage du médicament, les interactions médicamenteuses et les effets indésirables médicamenteux.
Sur une échelle allant de 0 à 10, le score médian de ChatGPT sur les 50 demandes d’avis était de 4,8. L’évaluation était de 3,7 sur les demandes portant sur les effets indésirables médicamenteux (analyse de l’imputabilité) et de 5 sur les demandes portant sur le bon usage du médicament et les interactions médicamenteuses.
De façon générale, l’étude montre que les réponses de ChatGPT aux demandes d’avis/d’informations ne sont pas satisfaisantes. ChatGPT peut fournir une réponse acceptable pour des demandes simples mais ses réponses concernant des demandes plus complexes nécessitant une expertise pharmacologique ne sont pas acceptables. En septembre 2023, ChatGPT ne peut être un outil d’aide dans la pratique quotidienne des CRPV conclut l’équipe de Toulouse. Il manque de discernement et de pertinence clinique pour répondre aux nombreuses demandes d’avis reçues par les CRPV. Un pharmacologue (et son raisonnement clinique) reste essentiel dans cette activité fondamentale des CRPV.
Dr Romain Barus et Dr François Montastruc (CRPV de Toulouse)
Références :
1. Pariente, A. et al Quelle place pour l’automatisation intelligente et l’intelligence artificielle pour préserver et renforcer l’expertise en vigilance devant l’augmentation des déclarations? Therapies, 2023, 78(1), 115-129.
2. Montastruc, F. et al.Will artificial intelligence chatbots replace clinical pharmacologists? An exploratory study in clinical practice. European Journal of Clinical Pharmacology, 2023 Oct;79(10):1375-1384.