Enews323 醫學教育的評鑑應聚焦於學程品質的持續改進(1)

出自KMU e-News

高雄醫學大學e快報 第323期　 分享園地

醫學教育的評鑑應聚焦於學程品質的持續改進(1)

本校 醫學院 劉克明 教授

　　醫學教育學程的評鑑目的，在確保醫學教育的品質與促進品質的改進，其最後目標在提供最佳的病人照護。然而要建立評鑑結果與教育品質改進之間的直接相關性並不容易。

　　2017年6月，台灣醫學院評鑑委員會 (TMAC) 送交美國教育部國外醫學教育暨評鑑認可審議委員會 (National Committee on Foreign Medical Education and Accreditation，以下簡稱NCFMEA)，有關於台灣與美國醫學教育評鑑認可制度 “可相比” 的認可文件，美國教育部國外醫學教育暨評鑑認可審議委員會承辦人 (U.S. Department of Education staff, NCFMEA) ，針對認可文件作出分析報告 (Draft Staff Analysis Report)，並提出多個問題。其中一個問題為：該國家需要提供更多資訊和文件，說明TMAC如何評估台灣醫學院校，將數據用於學校內部學程的有效性和持續改進過程的一部分 (The country needs to provide additional information and documentation on how TMAC assesses the extent to which Taiwan's medical schools use data as part of the school's internal program effectiveness and continuous improvement process) 。

　　類似的持續的教育品質改進的要求，亦可見於機構的文化，例如德克薩斯大學奧斯汀分校，戴爾醫學院醫學教育學科 (The University of Texas at Austin: Dell Medical School: Department of Medical Education) 徵聘全職的教師，列出其責任之一為: 依據對評估數據所需要持續的提高教育品質作出反應 (Respond to evaluation data as needed for continuous quality improvement)。

　　長期以來，醫學教育評鑑的影響明顯地聚焦於學生的學習結果，例如國家執照考試的表現。然而，學生學習結果存在着與數據的可用性，可比較性及可信性等有關的挑戰。 評鑑的真正影響，可以好好的依賴其促進醫學教育學程持續的品質改善的能力，承諾投入資源及参與自我評量活動，其代表持續的品質改進 (CQI) 之最佳實踐，並且領導學校發展持續的品質改善的文化。高標準的持續品質改進方向，應導致高品質的醫學教育，並將作為畢業生品質與他們可能提供的高醫療照護品質的代表性指標。現在是要脫離長期以來對學生成果的重視，開始改採用額外的指標，例如醫學院持續的品質改進方向的指標，以作為對評鑑影響的衡量標準。筆者獲得Dr. Blouin同意，將其與醫學院持續的品質改進相關文章重點介紹如下。

前言：

　　美國與加拿大醫學教育學程的評鑑，實施已超過百年。評鑑主要目的在確保醫學教育的品質與促進品質的改善，其最後目標在提供最佳的病人醫療照護。

　　傳統的醫學教育學程評鑑範圍，包括對學程所提供的教育設施，資源和教學的量性而質性的判斷。 評鑑重點在醫學教育的過程，但其對教育結果的貢獻為何並不清楚。 隨著醫學教育轉向與廣泛的和情境為基礎的能力概念相關的成果導向的教育(Outcome-based education) ，評鑑方式相對應改變，評鑑重點則明顯地聚焦於學生的學習結果。

　　Dr. Boulet 與 Dr. van Zanten 的文章中，曾討論評鑑在確保高品質的醫療照護的角色，強調缺乏評鑑與教育實踐的改善之間相連繫的證據，並呼籲增加評鑑衝擊的指標，例如：受評學校評鑑前、後的縱向研究，畢業生在參加職涯相關測驗的表現及實際的患者數據等。然而，評鑑結果與教育品質改進之間的直接相關性，並不容易建立。

　　目前，評鑑對醫學教育的影響的文獻，明顯地聚焦於學生的學習結果之利用，例如國家執照考試的表現。然而，學生學習成果在數據的可用性，可比較性及可信性等方面，存在多項挑戰。因此與其聚焦於醫學教育學程產品的評量 (亦即學生的數據) 作為評鑑影響的證據，還不如關注評鑑對於醫學教育學程實施過程的影響。

　　評鑑的真正力量，在於其能夠發展出教育品質改進的文化，不僅僅是課程內容和提供給學生的服務，他們全部的教育經歷的組成部分，都要被評估。

　　Dr. Blouin與Dr. Tekian文章基本的概念模型，建議評鑑結果要能領導醫學院要投入資源，並進行自我評估的活動，其代表持續的品質改進 (CQI) 之最佳實踐，並且領導學校發展持續的品質改進的文化。

　　持續的品質改進的文化，鼓勵醫學院持續地努力於改進所提供的醫學教育學程的品質，並冀以導致病人正向的治療效果。促進持續的品質改善文化的發展，應該是評鑑制度的核心，因為持續的品質改善的文化，將確保醫學院負責對自己的最佳教育做法進行自我評估。

　　目前對評鑑效度的研究，是以學生成果為焦點。未來，評鑑對醫學教育品質的影響，應該能夠採學生成果之外的指標評量，例如醫學院在醫學教育學程持續改進品質的努力，及校內醫學教育學程持續的品質改善的文化的發展。

　　持續的品質改進的定義，為由醫學院發起與監督，以管理與改善所提供的教育品質的任何正式的過程。這些過程包括複查與評鑑準則的符合程度，其他對學校有益的指標，與其持續性 (亦即甚至在被安排的前、後次評鑑訪視之中間)。複查的週期由各校內部決定，藉着以已被確認的準則或基準為挑戰，進行更深入的仔細研討，藉着以複審的結果，作為持續的品質改善的唯一目的，而不要與評鑑系統混淆。

　　本文回顧醫學教育學程評鑑的影響之可用的證據，並提出持續的品質改進評估工具作為評鑑影響的新指標。

評鑑的效果 (Effectiveness of Accreditation)：

　　醫學院相信評鑑過程，有助於教育成果的改善，特別在病人成果的改善，而参加評鑑。爲了讓評鑑能依計畫有效的運作，評鑑準則必須被認為有效的，而評鑑過程是被接受的。

1. 評鑑準則的有效性 (Validity of standards)：

　　1997年，美國 「醫學教育評鑑委員會」(Liaison Committee on Medical Education, 簡稱 LCME) , 對醫學院利害關係人共 1,659位進行問卷調查，要求他們對 LCME評鑑準則中，與教學、學習與評估有關的 44條準則，基於他們認爲其可以作爲教育品質的指標的重要性， 以及被要求提供作為符合準則的證據之明確度，採用 Likert型五级分法 (1 = 不重要， 5 = 非常重要) 給以評級。

　　這些利害關係人包括醫學院院長、教育主管、醫學教育評鑑委員會委員及評鑑委員 (現任與過去五年曾任者) 、醫學院教育課程負責人、醫學生、住院醫師及臨床醫師。問卷回答者 701位 (42%)，而全部44條準則的平均得分從 3.94至 4.87。儘管與使用參數方法，分析序數數據有關的統計學有缺陷，但這些結果表明，所有44個準則被認為是適度地重要的。

　　韓國醫學教育與評鑑機構 (KIMEE) 於 2000年，採用類似的問卷方法，要求41所醫學院的教師與學生 662位，對 87條評鑑準則評分，得到平均分數從 3.80至 4.49。

　　1999年國際醫學教育機構 (Institute for International Medical Education, 簡稱 IIME)，確定要完成醫師學位的教育，所必需的最少的基本要求之核心能力60種，涵蓋 7個領域，專業的價值、態度、行爲、與倫理；醫學的科學基礎； 溝通技巧；臨床技巧；民眾健康與醫療制度；資訊管理；及批判性思考與研究。

　　2012年，一份13位教育專家對150項評鑑準則，於提高醫學教育學程的重要性的看法之研究報告，此150項評鑑準則包括全球數個評鑑系統的準則的合併。専家回應結果，有14項(9%) 準則涵蓋從 “治理與管理” 至 “學生”，被一致的認為是基本的。

　　以上研究顯示，藉着書面聲明的調查方式、與藉持定的個人和團體的評量，確認評鑑準則內容的有效性。 該有效性可能不會擴大到醫學院對評鑑準則的解釋和評鑑制度的應用。此外，其相關性的有效性（即評鑑準則和畢業生在住院醫師訓練或執業的後續成就之間的關係）尚未被研究。

　　對於上述特定準則的普遍認同，顯示出有一套與各個地域和文化共鳴的核心準則存在着。世界醫學教育聯合會 (WFME) 開發的，全球評鑑準則的預測評量者指出，將國際準則依當地條件調整的重要性，而其他人則警告，不要將相同的準則應用於廣泛地變化的教育環境。準則需要結合當地的社會責任的任務、當地的教育和醫療實踐、及當地的醫學院確定的預期成果。說明這個需求，WFME認可的六個醫學教育認證機構，具體說明是爲了讓它們履行社會責任的任務和改善其社區衛生保健的目的。

2. 評鑑過程的接受 (Acceptance of accreditation process)：

　　儘管評鑑準則的有效性已被認知，但其品質保證過程的優點，如評鑑，並不總是被廣為接受的。例如，香港在實施教學品質過程的審查後，一所大學的22位教師被面談教與學相關事件的滿意和不滿意，他們反應提到因為品質過程的審查繁瑣和耗時的刺激，轉移了實際教學的意義；而且那些過程與教師所知道的教與學的本質是脫節的，它們對教育資源是顛覆性的要求、它們過度規範的性質、以及它們對那些有時候並不適合的定量指標的過度依賴。但由於可用性，教學品質過程的審查仍然在實施。

　　有一項對10家澳大利亞大學的30位教師進行的類似研究，提出教師們對其大學實施的品質保證過程的批評。教師們確認學生對教學的評估，這個評鑑制度常用的教學有效性的指標，是不可靠且有缺陷的。他們質疑學生判斷教師教學的能力，和學生透過評估，操縱教學的潛在性。與他們的中國同儕類似，他們認為目前的品質評量機制與品質概念並不一致，對以量化方法進行品質的評估，及以“複選框”性質的品質保證系統感到遺憾。雖然沒有從醫學教育文獻中蒐集，但對品質保證過程的看法，明顯的可以擴大到醫學院醫學教育的評鑑。

　　除了環繞在評鑑過程的不滿意，還缺乏其對改善醫學教育和病人照護的品質的有效性的證據。就如前所述，評鑑和教育品質之間的直接聯繫難以確定。此外，要確定跨越學校、州和國家的有效性的有效指標是具有挑戰性的。評鑑準則符合規的正向改變，僅提供學校達到指標情況的資訊; 也就是說，它們並不一定反映所提供的教育品質或學校畢業生的卓越情形。

enews323