Enews324 醫學教育的評鑑應聚焦於學程品質的持續改進(2)
出自KMU e-News
高雄醫學大學e快報 第324期 分享園地
醫學教育的評鑑應聚焦於學程品質的持續改進(2)
本校 醫學院 劉克明 教授
- 3. 有效性的指標 (Markers of effectiveness)：
文獻報導的評鑑有效性指標，重點在課程轉換和學程產量的品質，包括學程實施後課程改變的數目，機構品質的結果，學生的學習成果。
a. 課程改變的數目 (Number of curricular changes)：
在1992年至1997年期間，LCME所訪評的90所醫學院中，有61所以往的教育學程被評缺點。在隨後的訪評中，34所（56％）先前被評有缺點的學校， 報告已經完成或正在進行重大的改變。在以往的教育學程未被評缺點的29所學校中，這一比例達到52％（或15所學校）。在被評缺點和未被評缺點的學校的類似的學程改變比率，似乎顯示出評鑑並沒有推動教育的改革。也可能被評缺點的學校為了反應評鑑而實施改變（例如，評鑑推動變革），而未被評缺點的學校則自發地進行學程的改革，並不需要受到LCME的挑戰。然而，本研究的設計不容許確定哪一項解釋更有可能。另外值得注意的是，報告中，沒有詳細列出，被評缺點和未被評缺點的學校，其實施的課程改革的重要性和品質。
在2004年至2012年間，美國和加拿大醫學院醫學教育學程，最常見被評為不符合的準則，包括有關於形成性和總結性評估的提供，中央監測的學生遭遇到的醫療狀況，中央監督的課程，及學程與臨床附屬醫院之間存在的有效附屬協議。在缺乏評鑑制度的情況下，學校可能會或可能不會糾正這些缺陷。 雖然它是絕對地可以預見，不遵守這些準則，對醫學教育品質的影響，但尚未正式進行研究。
b. 機構品質結果 (Organization quality outcomes)：
一個對醫療和社會服務體系的22個評鑑系統，包括醫療保健機構評鑑聯合委員會 (Joint Commission on Accreditation of Healthcare Organizations) 和全國品質量保證委員會 (National Committee for Quality Assurance) 廣泛的審視，顯示出評鑑對服務品質和成果，以及供應商運營的溫和但積極的影響（例如工作人員流失率，成員的變動，採用創新做法）。評鑑對醫療和社會服務行業的影響，是通過臨床品質和效果的評量來評估的 (例如，心肌梗塞的照護和美沙酮適當劑量）、 死亡率和患者滿意度。
c. 學生的學習成果 (Student outcomes)：
學生的學習成果-- 即他們在國家執照考試中的表現 - 是在評量評鑑對醫學教育的影響之文獻中最常用的。
在理論上，比較從評鑑過的醫學院畢業生和未評鑑過的醫學院畢業生，在國家醫師考試的表現，反映了評鑑對醫學生所接受的醫學教育品質的影響。在加拿大和美國，所有醫學院都是評鑑過的，可避免在這些國家的比較。比較加拿大和美國醫學院畢業生與其他國家醫學院畢業生，在同一個國家的或醫師執照考試的表現會很困難; 因為有幾個複合因素，例如這些學校申請入學者的品質，這些學校的入學要求和學校資源的可使用性，混淆了學校的評鑑狀態與畢業生表現之間的關聯性。而那些嘗試美國醫師執照考試（USMLE）的來自其他國家的畢業生，代表了他們各自學校畢業生的小樣本，並且可能具備與不嘗試美國醫師執照考試的那些學校的畢業生不同的基本特徵和能力。 進一步模糊學校評鑑狀態與畢業生表現之間的聯繫是，那些沒有評鑑的學校的課程、教師資格的要求、人力和物力資源，有可能與那些評鑑過的學校是一致的。
儘管如此，學校評鑑狀態和學生在外部考試表現之間的正相關性已經被發現。例如，在参加美國USMLE全部三個階段考試，首次参加考試的合格率，墨西哥和菲律賓評鑑通過學校的畢業生，比那些墨西哥和菲律賓未評鑑通過學校的畢業生更高（USMLE第一、二、三階段測驗通過率，分別為47.4％、72.9％83.3％，與31.5％、66.7％、74.3％）。類似的，來自加勒比海評鑑通過學校和加勒比海以外評鑑通過學校的畢業生，在第一次参加USMLE第二階段測驗中，也顯示出比那些未經評鑑通過的醫學院畢業生合格率高。來自加勒比地區兩類學校畢業生的測驗合格率分別為85.2％ 與 71.9％；而來自加勒比地區以外的兩類學校畢業生，他們的測驗合格率分別為73.5％ 與 69.6％。
儘管已經有預期學生學習成果的定義，利用學生學習成果作為教育品質的評量和在評估這些學習成果的困難有關的挑戰，是使用學生學習成果爲基礎的評估系統的主要妨礙物。
與這裡詳細描述的三個效果指標相反，本文以概念模型為基礎，提出透過CQI鏡頭來觀察評鑑的影響。在Boulet和van Zanten的論文中，他們倡導縱向研究來減輕橫斷面研究的局限性。
醫學院在其評鑑週期內的不同點，重複的決定其CQI方向，不但符合本建議，而且可以提供額外的評鑑影響的證據。
- 4. 評鑑為品質改進的工具 (Accreditation as a Quality Improvement Tool)：
高等教育品質的管理，正在從過程控制的機械化視角，轉變為鼓勵和重視變革、發展和創新的品質文化觀。為了達到持續的品質改進，理想情況是由教育學程本身，而不是靠外部組織，去啟動審核過程。評鑑目的在提升醫學院醫學教育學程持續的品質改進，亦即相信醫學教育學程持續的品質改進的努力，將導致所提供的教育品質、畢業生的能力以及最後所提供的病人照護的持續改進。由於持續品質的改進作為評鑑系統的中心，評估醫學院醫學教育學程評鑑的影響，其指標應包括醫學教育學程的持續品質改進的定位。
在商業界，大多數認證的體系都是基於工業品質管理模式，例如國際標準化組織或全面品質管理 (International Organization of Standardization or Total Quality Management)，其控制產品生產過程的品質，而不是其最後產品的品質。這些類型的模式是被設計去確保客戶的滿意。由於學生經常被認為是高等教育機構的客戶，這些模式在教育問題上，優先考慮的是學生的問題。因此，學生對教學的評量，成功地改變了教師與學習者之間的權力關係，正如同澳洲學者在前面引用的研究中面訪教師們所認知的。由於醫學生可能並不是他們所接受的教育品質最佳審判者，有些人建議將醫學生視為醫學院的產品，而不是醫學院的消費者，並主張醫學院真正的客戶是住院醫師訓練計劃及醫師的雇主。其他人則認為，將醫學院畢業生視同於其他服務行業的產品，可能導致訓練出的是具有明確培訓單位的技術人員，但缺乏複雜的技能，例如臨床推理，因為這些技能的教學和評估，並沒有被整合於品質的評量。
新的評鑑準則的實施成功，有時候被解釋為教育學程的文化改變的展現。例如，在2000年，工程學教育制定了新的評鑑標準，從而導致課程，教學實踐和評量活動的重大改組。這些改變，造成學生的經驗和結果的水準更一致，以及更高程度的教師參與學術性活動。這些正向的發現，是否反應出文化的變革，或是來自課程領導的法令所造成的結果，並不清楚。然而依據教師們參與的持續性的記錄，將使作者對真正的文化上的轉換的結論有信心。
持續的品質改進 (CQI) 的基本特徵，包括能夠支持品質改進過程的組織結構; 會運用數據來反覆的指導活動；在設計學程時會考慮到當地的情況; 使用有競爭力的標準; 並賦予團隊權力，以實施有效的學程變革。同樣重要的，提供有關當前和最佳做法的資訊; 領導者、客戶和員工的參與; 與一個基於改進知識的基礎架構，皆是關鍵因素。實施持續的品質改進的策略： 透過提供足夠的資源，執行品質改進計畫；使用指標來建立和維護客戶關係; 為員工、經理和主管提供品質意識的培訓; 並制訂機制以監控績效指標和客戶的滿意度。
Malcolm Baldrige全國品質獎 (The Malcolm Baldrige National Quality Award, 簡稱MBNQA）之架構，在商業，教育和醫療照護領域被廣泛地驗證，適當地展現了品質的這些基本特徵。雖然沒有關於醫學院參與Baldrige績效卓越計劃 (Baldrige Performance Excellence Programs) 的訊息，其教育架構似乎可適用於醫學教育情境。MBNQA調查工具，有助於發現機構持續品質改進的方向，其各種表現指標的分數越高，則反映持續品質改進的方向越強。其連續的運用，可提供有關於持續品質改進的各個特徵的正向和負向趨勢的訊息。
如果評鑑確實促進在醫學院持續品質改進的文化的發展，則與評鑑要求的持續品質改進的活動無關的，通過評鑑的醫學院醫學教育學程，應該展現出一種持續品質改進的文化。當被應用MBNQA工具評量時，應比未通過評鑑的學程，顯現出更高程度的實施持續品質改進的證明。因而，具有較強的持續品質改進方向的教育學程，其所提供的醫學教育品質和畢業生的品質將會更高。因此，強大的持續品質改進的方向，可以作為畢業生品質的代表指標。
然而，高品質畢業生與高品質病人醫療照護之間的關聯性，仍將有待推測。建立此一關聯性的一個混雜因素是，從醫學院畢業和成為獨立執業的醫生之間，進行的至少兩年的業後訓練。因此，最近獲得執照的醫生所提供的醫療照護品質，不僅反映了他們在醫學院的教育，還反映了他們的畢業後的訓練、當地臨床執業模式、個人的成熟、醫學知識和臨床執業的間隔變化，以及對病人醫療照護品質的不斷提升的期望等因素。因此，使用病人醫療照護的結果，作為醫學院醫學教育學程和畢業生品質的指標，是一個重大的挑戰。
- 結論：
多年來，醫學教育已經負起品質準則的責任，這些品質準則持續地改進，以反映教育的最佳實踐和社會需求的變化。 評鑑是對醫學教育學程花費高昂的責任落實的查核。然而，缺乏評鑑對醫學教育和病人醫療照護的影響的證據。
長期以來，評鑑的影響明顯地聚焦於學生的結果，例如國家執照考試的表現。然而，學生結果存在着與數據可用性，可比較性及混淆不清 (污染) 等有關的挑戰。
評鑑的真正影響，可以好好的依賴其促進醫學教育學程持續的品質改善的能力。 Dr. Blouin 與Dr. Tekian 文章基本的概念模型建議評鑑領導醫學院，去承諾投入資源及参與自我評量活動，其代表持續的品質改善 (CQI) 之最佳實踐，並且領導學校發展持續的品質改善的文化。要符合這個模式， 評估評鑑對醫學院影響，需要包括與持續的品質改善 (CQI)相關的指標，並且可以應用企業和管理領域的驗證工具，來衡量醫學院持續的品質改善 (CQI) 的方向。一再測定醫學院在整個評鑑週期的不同時間點持續的品質改善 (CQI) 的方向，將可提供評鑑對醫學教育的影響更多的證據。
如果評鑑的真正影響是在其醫學教育學程中，促進持續品質改進的能力，其影響的指標，就需要包括與持續品質改進有關的評量。評量醫學教育學程持續品質改進方向的有效驗證工具，可以從商業和管理領域借用。堅定的持續品質改進方向，應導致高品質的醫學教育，並將成為畢業生品質和可能提供的病人醫療照護品質量的代表指標。
高標準的持續品質改進方向，應導致高品質的醫學教育，並將作為畢業生品質與他們可能提供的高醫療照護品質的代表性指標。現在是脫離對學生成果的重視，作為對評鑑影響的衡量標準，另採用額外的指標，例如醫學院持續的品質改善 (CQI)方向的指標，以作為對評鑑影響的衡量標準。
- 誌謝：
筆者非常感謝Dr. Danielle Blouin (Professor, Department of Emergency Medicine, Queen’s University, Kingston, and secretary, Committee on Accreditation of Canadian Medical Schools, Ottawa, Ontario, Canada) 的同意翻譯，謹此致謝。
- Reference：
- Blouin D, Tekian A. Accreditation of medical education programs: moving from student outcomes to continuous quality improvement measures. Acad. Med. 2017 Jul 25. doi: 10.1097/ACM.0000000000001835. [Epub ahead of print] https://www.ncbi.nlm.nih.gov/pubmed/28746072
- Boulet J, van Zanten M. Ensuring high- quality patient care: The role of accreditation, licensure, specialty certification and revalidation in medicine. Med. Educ. 2014;48:75–86. https://www.ncbi.nlm.nih.gov/pubmed/24330120
- Davis DJ, Ringsted C. Accreditation of undergraduate and graduate medical education: how do the standards contribute to quality? Adv Health Sci Educ Theory. Pract. 2006;11(3):305-13. https://www.ncbi.nlm.nih.gov/pubmed/16832712
- Barzansky B, Hunt D, Moineau G, Ahn D, Lai CW, Humphrey H, Peterson L Continuous quality improvement in an accreditation system for undergraduate medical education: Benefits and challenges. Med. Teach. 2015;37(11):1032-8. doi: 10.3109/0142159X.2015.1031735. Epub 2015 Apr 21. PMID: 25897708 https://www.ncbi.nlm.nih.gov/pubmed/25897708.
