WEKO3
アイテム
The Quality Evaluation of Graduation Test Questions Based on Machine Learning Predictive Models for the Pass/Fail Outcome of the National Medical Licensing Examination
https://doi.org/10.57457/0002000171
https://doi.org/10.57457/0002000171d1d7d185-82cc-4a56-9541-f8e5884718f6
| 名前 / ファイル | ライセンス | アクション |
|---|---|---|
本文 (2.9 MB)
|
|
| Item type | 学術雑誌論文 / Journal Article(1) | |||||||||||||||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 公開日 | 2024-10-07 | |||||||||||||||||||||||||||||
| タイトル | ||||||||||||||||||||||||||||||
| タイトル | The Quality Evaluation of Graduation Test Questions Based on Machine Learning Predictive Models for the Pass/Fail Outcome of the National Medical Licensing Examination | |||||||||||||||||||||||||||||
| 言語 | en | |||||||||||||||||||||||||||||
| 言語 | ||||||||||||||||||||||||||||||
| 言語 | eng | |||||||||||||||||||||||||||||
| キーワード | ||||||||||||||||||||||||||||||
| 言語 | en | |||||||||||||||||||||||||||||
| 主題Scheme | Other | |||||||||||||||||||||||||||||
| 主題 | graduation examination | |||||||||||||||||||||||||||||
| キーワード | ||||||||||||||||||||||||||||||
| 言語 | en | |||||||||||||||||||||||||||||
| 主題Scheme | Other | |||||||||||||||||||||||||||||
| 主題 | National Medical Licensing Examination | |||||||||||||||||||||||||||||
| キーワード | ||||||||||||||||||||||||||||||
| 言語 | en | |||||||||||||||||||||||||||||
| 主題Scheme | Other | |||||||||||||||||||||||||||||
| 主題 | machine learning | |||||||||||||||||||||||||||||
| キーワード | ||||||||||||||||||||||||||||||
| 言語 | en | |||||||||||||||||||||||||||||
| 主題Scheme | Other | |||||||||||||||||||||||||||||
| 主題 | prediction of passing | |||||||||||||||||||||||||||||
| キーワード | ||||||||||||||||||||||||||||||
| 言語 | en | |||||||||||||||||||||||||||||
| 主題Scheme | Other | |||||||||||||||||||||||||||||
| 主題 | good questions | |||||||||||||||||||||||||||||
| 資源タイプ | ||||||||||||||||||||||||||||||
| 資源タイプ識別子 | http://purl.org/coar/resource_type/c_6501 | |||||||||||||||||||||||||||||
| 資源タイプ | journal article | |||||||||||||||||||||||||||||
| ID登録 | ||||||||||||||||||||||||||||||
| ID登録 | 10.57457/0002000171 | |||||||||||||||||||||||||||||
| ID登録タイプ | JaLC | |||||||||||||||||||||||||||||
| 著者 |
井関 隼
× 井関 隼
× 岩藤 和広
× 東田 俊彦
× 稲田 誠二
× 田邉 勇人
× 堀 有行
|
|||||||||||||||||||||||||||||
| 著者（英） | ||||||||||||||||||||||||||||||
| 姓名 | Hayato Iseki | |||||||||||||||||||||||||||||
| 言語 | en | |||||||||||||||||||||||||||||
| 著者（英） | ||||||||||||||||||||||||||||||
| 姓名 | Kazuhiro Iwadoh | |||||||||||||||||||||||||||||
| 言語 | en | |||||||||||||||||||||||||||||
| 著者（英） | ||||||||||||||||||||||||||||||
| 姓名 | Toshihiko Higashida | |||||||||||||||||||||||||||||
| 言語 | en | |||||||||||||||||||||||||||||
| 著者（英） | ||||||||||||||||||||||||||||||
| 姓名 | Seiji Inada | |||||||||||||||||||||||||||||
| 言語 | en | |||||||||||||||||||||||||||||
| 著者（英） | ||||||||||||||||||||||||||||||
| 姓名 | Hayato Tanabe | |||||||||||||||||||||||||||||
| 言語 | en | |||||||||||||||||||||||||||||
| 著者（英） | ||||||||||||||||||||||||||||||
| 姓名 | Ariyuki Hori | |||||||||||||||||||||||||||||
| 言語 | en | |||||||||||||||||||||||||||||
| 抄録 | ||||||||||||||||||||||||||||||
| 内容記述タイプ | Abstract | |||||||||||||||||||||||||||||
| 内容記述 | Background: In medical education, studies exploring the relationship between graduation exams, advancement exams, and the National Medical Licensing Examination (NMLE) are limited. Despite the active progress of machine learning (ML) in clinical AI (Artificial Intelligence), research on this topic in the context of exam that did in university and the NMLE is scarce. Methods: The study aimed to assess the relationship between answer results for obstetrics and gynecology questions in graduation exams and the NMLE pass/fail outcomes, the former of which were used as independent variables in ML and the latter of which the target variable as 1 or 0. We tried 13 types of ML models and selected the most appropriate ones. ML-predicted values equal to or above 0.5 were considered positive, while values below 0.5 were considered negative. Predicted values for student pass/fail were defined as AIpass Rate, and feature importance value for each question was defined as AIpass Index using Symbolic Regression. Results: The Random Forest model had a high AUC of 0.789 and accuracy of 0.813, while The XGBoost (eXtreme Gradient Boosting) model demonstrated a high AUC of 0.785 and precision of 0.855. Both models performed well in predicting NMLE outcomes. Regarding the student-focused AIpass Rate, all students with predicted values exceeding 0.793, which is 66.96% of the examinees, passed the NMLE; conversely, no student passed the exam with a score below 0.184. As for the question-focused AIpass Index, questions with high values, especially those reaching 0.999 and strongly correlating with NMLE pass/fail, suggest them as ‘good questions’. Conclusions: While predicting the outcomes of the NMLE in advance is considered challenging, understanding the characteristics of ‘good questions’ strongly correlated with the NMLE is crucial. By conducting a detailed analysis of their content, we suppose that the level of question creation by educators can be elevated, ultimately enhancing the quality of education for students. |
|||||||||||||||||||||||||||||
| 言語 | en | |||||||||||||||||||||||||||||
| bibliographic_information |
巻 49, 号 2, p. 57-66, 発行日 2024-09 |
|||||||||||||||||||||||||||||
| 出版者 | ||||||||||||||||||||||||||||||
| 出版者 | 金沢医科大学医学会 | |||||||||||||||||||||||||||||
| 言語 | ja | |||||||||||||||||||||||||||||
| item_10001_source_id_9 | ||||||||||||||||||||||||||||||
| 収録物識別子タイプ | EISSN | |||||||||||||||||||||||||||||
| 収録物識別子 | 2436-6994 | |||||||||||||||||||||||||||||
| 出版タイプ | ||||||||||||||||||||||||||||||
| 出版タイプ | VoR | |||||||||||||||||||||||||||||
| 出版タイプResource | http://purl.org/coar/version/c_970fb48d4fbd8a85 | |||||||||||||||||||||||||||||
