人工智能│據美國期刊《PLOS數碼醫療》2月9日一份研究顯示,人工智能(AI)聊天機器人ChatGPT成功通過被視為困難的美國執業醫師資格考試(USMLE),在未經人為訓練下已達及格!
撰文:Hedy@Medical Inspire 醫.思維 │ 資料來源:PLOS DIGITAL HEALTH
人工智能 │ AI能通過美國執業醫生資格試?研究證實「未經人為訓練下」已及格
美國執業醫師資格考試(USMLE),是通往美國臨床執業的唯一路徑。此考試共分三個部分:第一階段為基礎醫學考試,第二階段則是測試考生的應用醫學知識和臨床技術的能力,第三階段將考核各科醫學知識融匯和實際應用。研究以被視為困難的美國執業醫師資格考試,考驗人工智能ChatGPT。
研究採用USMLE試卷2022年6月版376道試題中的350道,當中刪除了臨床圖像、醫學攝影和圖表等圖片問題,來測試ChatGPT的多個醫學學科知識,涉及基礎科學、生物化學、診斷推理和生物道德學。
為了確保所有答案解釋都是ChatGPT的真實結果,研究人員通過隨機抽查輸入內容,進一步確認沒有一個答案、解釋或相關內容在2022年1月1日之前被Google收錄,這也是ChatGPT訓練數據集的最後訪問日期。
在刪除不確定的回答後,ChatGPT 在三階段考試中得分在 52.4% 到 75.0% 之間,每年的及格門檻約為 60%,能通過美國執業醫師資格考試。其回答中展現了高度的準確性和一致性,有88.9%的主觀回答更包括「至少一個重要的見解」,即見解較新穎、臨床上有效果且並非人人能看出來。透過測試證明了ChatGPT 能夠執行與處理複雜的醫療和臨床資訊。
研究人員指:「在這個出了名難考的專業考試中達到及格分數,且在沒有任何人為訓練的前提下做到這一點,這是人工智能在臨床醫學應用方面值得注意的一件大事,而且大型語言模型可輔助醫學教育、甚至臨床決策的潛力。」
研究人員表明,像ChatGPT這樣的聊天機器人,可以幫助像二年級醫學生的人通過第一次 USMLE 考試。 由於ChatGPT的回答有一致性和可靠度,它可以幫助學生易於理解和表達複雜的醫療信息,遵循答案解釋中包含的內部語言、邏輯和關係的方向性去學習。未來更可以用於醫院和臨床,如果醫生有疑問或正在處理特定病例,他們可以向ChatGPT 等工具求助 。
ChatGPT是人工智慧研究實驗室OpenAI於2022年11月發佈的聊天機器人,主要是讓人類可以透過文字與程式如像人類日常對話般互動。