Desempenho do ChatGPT na Prova Nacional de Acesso

Autores

  • Gonçalo Ferraz-Costa * Shared co-authorship. Cardiology Department. Unidade Local de Saúde de Coimbra. Coimbra; Faculdade de Medicina. Universidade de Coimbra. Coimbra; Coimbra Institute for Clinical and Biomedical Research (iCBR). Coimbra.
  • Mafalda Griné * Shared co-authorship. Cardiology Department. Unidade Local de Saúde de Coimbra. Coimbra; Coimbra Institute for Clinical and Biomedical Research (iCBR). Coimbra.
  • Manuel Oliveira-Santos Cardiology Department. Unidade Local de Saúde de Coimbra. Coimbra; Coimbra Institute for Clinical and Biomedical Research (iCBR). Coimbra; Digital Health Study Group, Sociedade Portuguesa de Cardiologia. Lisboa.
  • Rogério Teixeira Cardiology Department. Unidade Local de Saúde de Coimbra. Coimbra; Faculdade de Medicina. Universidade de Coimbra. Coimbra; Digital Health Study Group, Sociedade Portuguesa de Cardiologia. Lisboa.

DOI:

https://doi.org/10.20344/amp.22506

Palavras-chave:

Avaliação Educacional, Competência Clínica, Inteligência Artificial, Internato e Residência, Portugal

Resumo

O ChatGPT, um modelo de linguagem desenvolvido pela OpenAI, foi testado em vários exames de acesso à profissão médica. Este estudo tem como objetivo avaliar o desempenho do ChatGPT na Prova Nacional de Acesso à Formação Especializada, um exame obrigatório para o início do internato médico em Portugal. O estudo compara especificamente as capacidades das versões 3.5 e 4o do ChatGPT em cinco edições do exame, de 2019 a 2023. Um total de 750 perguntas de escolha múltipla foram submetidas a ambas as versões, e as suas respostas foram avaliadas em comparação com as respostas oficiais. Os resultados revelam que o ChatGPT 4o superou significativamente o ChatGPT 3.5, com uma pontuação mediana de 127 em comparação com 106 (p = 0,048). Notavelmente, o ChatGPT 4o obteve pontuações dentro do top 1% em duas edições do exame e superou o desempenho mediano dos candidatos humanos em todas as edições. Além disso, as pontuações do ChatGPT 4o foram suficientemente elevadas para se qualificar para qualquer especialidade. Em conclusão, o ChatGPT 4o pode ser uma ferramenta valiosa para a educação médica e tomada de decisões, mas a supervisão humana continua a ser essencial para garantir uma prática clínica segura e precisa.

Downloads

Não há dados estatísticos.

Referências

Berşe S, Akça K, Dirgar E, Kaplan Serin E. The role and potential contributions of the artificial intelligence language model ChatGPT. Ann Biomed Eng 2024;52:130-3.

Liu M, Okuhara T, Chang X, Shirabe R, Nishiie Y, Okada H, et al. Performance of ChatGPT across different versions in medical licensing examinations worldwide: systematic review and meta-analysis. J Med Internet Res. 2024;26:e60807.

Knoedler L, Alfertshofer M, Knoedler S, Hoch CC, Funk PF, Cotofana S, et al. Pure wisdom or potemkin villages? A comparison of chatGPT 3.5 and ChatGPT 4 on USMLE step 3 style questions: quantitative analysis. JMIR Med Educ. 2024;10:e51148.

Malik A, Madias C, Wessler BS. Performance of ChatGPT-4o in the adult clinical cardiology self-assessment program. Eur Hear J - Digit Heal. 2024:ztae077.

Ribeiro JC, Villanueva T. The new medical licensing examination in Portugal. Acta Med Port. 2018;31:293-4.

Rosoł M, Gąsior JS, Łaba J, Korzeniewski K, Młynczak. Evaluation of the performance of GPT-3.5 and GPT-4 on the polish medical final examination. Sci Reports. 2023;13:1-13.

Alexandrou M, Mahtani AU, Rempakos A, Mutlu D, Ogaili AA, Gill GS, et al. Performance of ChatGPT on ACC/SCAI interventional cardiology certification simulation exam. JACC Cardiovasc Interv. 2024;17:1292-3.

Indran IR, Paranthaman P, Gupta N, Mustafa N. Twelve tips to leverage AI for efficient and effective medical question generation: a guide for educators using Chat GPT. Med Teach. 2024;46:1021-6.

In Press

Downloads

Publicado

2024-12-20

Como Citar

1.
Ferraz-Costa G, Griné M, Oliveira-Santos M, Teixeira R. Desempenho do ChatGPT na Prova Nacional de Acesso. Acta Med Port [Internet]. 20 de Dezembro de 2024 [citado 22 de Dezembro de 2024];. Disponível em: https://actamedicaportuguesa.com/revista/index.php/amp/article/view/22506

Edição

In Press

Secção

Artigos Curtos

Licença

Direitos de Autor (c) 2024 Acta Médica Portuguesa

Creative Commons License

Este trabalho encontra-se publicado com a Creative Commons Atribuição-NãoComercial 4.0.

Todos os artigos publicados na AMP são de acesso aberto e cumprem os requisitos das agências de financiamento ou instituições académicas. Relativamente à utilização por terceiros a AMP rege-se pelos termos da licença Creative Commons ‘Atribuição – Uso Não-Comercial – (CC-BY-NC)’.

É da responsabilidade do autor obter permissão para reproduzir figuras, tabelas, etc., de outras publicações. Após a aceitação de um artigo, os autores serão convidados a preencher uma “Declaração de Responsabilidade Autoral e Partilha de Direitos de Autor “(http://www.actamedicaportuguesa.com/info/AMP-NormasPublicacao.pdf) e a “Declaração de Potenciais Conflitos de Interesse” (http://www.icmje.org/conflicts-of-interest) do ICMJE. Será enviado um e-mail ao autor correspondente, confirmando a receção do manuscrito.

Após a publicação, os autores ficam autorizados a disponibilizar os seus artigos em repositórios das suas instituições de origem, desde que mencionem sempre onde foram publicados e de acordo com a licença Creative Commons

Crossref
Scopus
Google Scholar
Europe PMC