Enews383 OSCE測驗藍圖的介紹(2)
出自KMU e-News
高雄醫學大學e快報 第383期 分享園地
OSCE測驗藍圖的介紹(2)
本校醫學院 劉克明名譽教授
- 二、開發有效測驗藍圖的四個階段 (Four stages to an effective test blueprint)：
圖三描述開發測驗藍圖的四個階段。儘管有效的測驗藍圖可以同時觸及全部四個階段，但下列階段為開發評量醫學生計劃的一般指南，並不是需要嚴格地按照順序執行的正式規定。
圖三. 開發測驗藍圖的關鍵活動摘要 (Raymond and Grande)。
| 開發測驗藍圖的階段 | 關鍵性的活動和需要回答的問題 |
| 1. 確定主要的知識和技能領域 | 1. 詳細調查相關的教學材料（例如: 課程大綱、教科書），以決定要涵蓋的高水準的知識範圍和技能領域。 2. 決定測驗內容組織的架構: 是傳統的內容大綱嗎？操作程序的技能清單嗎？按過程內容的矩陣嗎？ |
| 2. 設計評量的目標 | 1. 在每個主要知識和技能領域，建立待評量的具體學習成果和行為的檔案。 2. 決定所需要的專業水準。 3. 評量的目標可以採取不同的形式： a. 行為目標的列表； b. 主題的概要； c. 過程的內容的矩陣； d. 能力或技能領域的列表； e. 醫療狀況或個病的列表。 |
| 3. 決定評量的格式 | 1. 視要被評量的知識和技能，考慮採用那種評量方法是最佳的？ 2. 實際考慮的因素包括： a. 在Bloom的分類法與 Miller的 金字塔中，評量目標的位置； b. 那一種評量方法得出的分數具有最可靠性； c. 分數的解釋的有效性（例如，MCQ可以評估溝通技巧嗎？）； d. 實際的限制因素（例如: 測驗時間、預算、後勤等）。 3. 課程背景是什麼？這些評量在課程的其他點的評量目標佔多大程度，以及透過什麼評量方法？ |
| 4. 確定各類別的權重 | 1. 決定多少評量工具（例如: MCQ、短文問題、案例等），學生能夠在指定的時間內完成。 2. 根據其整體重要性，決定測驗藍圖中每個主要類別或領域的權重。 3. 確認有足夠數量的評量工具，來支持您所希望達到的要求： a. 與同儕或績優學生們確定權重； b. 如果分項的分數要被報告，須查核各類別的評量工具，是否有足夠數目支持預期的推論。 |
- 1. 確定主要的知識和技能領域 (Identify the major knowledge and skill domains)：
開發測驗藍圖的第一階段涉及確定要評量的是廣泛的能力領域，它們應與醫學生高水準的行為要求相對應。解決此任務的一種方法是問：“如果我將課程劃分為幾個單元，其標籤將是什麼？”如果要要求醫學生對免疫學的了解，則該架構應包括定義免疫學領域的主要內容類別；如果是要求學生與患者互動的能力，則該架構應包括主要的溝通技巧。這些資訊可以在課程大綱、學習成果、講義、教科書和其他教學材料中找到。測驗藍圖通常根據要測驗的內容或評量任務所需的行為過程，進行規劃組織化的列表、大綱或表格。
以過程為導向的測驗藍圖 (Process-oriented test blueprints) 描述期望醫學生展示的操作技能。事實上，許多過程為導向的測驗藍圖都包括Bloom的分類法認知領域的技能。教師可能會使用Bloom的分類法來建檔，例如40％的測驗需要理解； 40％ 需要運用知識來解決臨床問題； 而20％ 需要對實驗進行分析。類似的，Miller的金字塔可以用類似的方式來決定，例如：統計學測驗的70％將包含已知的 (knows) 與知道如何做的 (Knows how) 層級的測驗題，而30％將要求醫學生顯示如何做的 (Shows how)。過程為導向的測驗的架構對於強調操作技巧和情感領域的臨床訓練特別有用。與醫學教育特別相關的兩個過程為導向的測驗模型是CanMEDS架構和ACGME能力。這些架構的不同部分對於開發教學評量非常有用 (Raymond and Grande)。
- 2. 記述評量目標 (Delineate the assessment objectives)：
前一階段的結果是主要內容和/或過程為導向類別的列表；第二階段是檔案之建立，測驗藍圖應列表描述所期待醫學生特定的、推理行為是什麼？有時，所需的詳細訊息，已經存在於課程目標的一部分。而 Mookherjee等人發展的臨床技能測驗藍圖，則依賴於醫學院現有臨床技能課程的里程碑。他們透過將每個里程碑，反映到ACGME能力架構中的適當類別以制定藍圖。 事實上，CanMEDS專業的角色，可以作為課堂測驗藍圖的基礎，同時，醫學院和專業學會發展的可信賴的專業能力（EPAs），也可以作為制定藍圖的基礎。如果評量目標的細節太多，有可能要花數小時來製定測驗藍圖，其好處是可以更輕鬆地產生評量任務和組裝平衡的測驗。如果太少細節，考試可能沒有重點，醫學生將不知道被期待的是什麼。大多數教師傾向於在測驗藍圖中，具有更高的特定性 (Mookherjee等人) 。
- 3. 確定評量格式 (Decide on the assessment format)：
選擇一種評量格式能夠將評量方法與對醫學生所知和能做的要求相配合。評量方法分為三大類：書面評量、模擬和基於工作場所的評量。評量格式的選擇將受到有效性和可靠性問題、資源和後勤、以及與其他評量機會相關的任何特定評量的影響。
與基於工作場所的評量相比，客觀結構式的臨床模擬測驗（例如OSCE）提供了更多控制測驗內容的機會。為確保OSCE是相關的，並且能在不同的醫學生群體之間保持平衡，測驗藍圖應挑選最具有可能影響醫學生表現的個案。從理論上講，OSCE的藍圖可能由多個因素組成，例如：患者年齡、性別、病情、醫療狀況和患者處理類型等；這將在多維矩陣中產生數百個組合。然而實際上，一個簡單的表就足夠了。圖四為例說明了OSCE的藍圖，其描述了一份測驗表格的個案背景和醫師的任務。為了歸納，測驗表格最好記錄每列的其他內容限制，例如，對患者年齡的限制，可能表明每個OSCE測驗包括一名嬰兒、一名青少年和三名成人，而對呼吸系統病例的限制，可以表明OSCE測驗僅限於氣喘、支氣管炎、或肺炎。
圖四: 客觀結構化臨床測驗（OSCE）的簡明測驗藍圖範例。(Raymond and Grande)
| 個案 | 年齡 | 性別 | 臨床狀況 | 器官系統 | 臨床症狀 | 基本情形 | *醫師任務 |
| 1 | 5 | M | 急性 - 電話 | 呼吸 | 咳嗽, 發燒 | 支氣管炎 | 1,3,4,6 |
| 2 | 17 | F | 非急性 -門診 | 女性健康/行為 | 母親；性開放女兒 | 資訊；諮商 | 1,2,5 |
| 3 | 35 | F | 急性 - 急診 | 消化 | 腹痛 | 膽囊炎 | 1,2,3,6 |
| 4 | 45 | M | 慢性-門診 | 骨骼肌肉 | 下背痛 | 椎間盤突出 | 2,3,4 |
| 5 | 60 | M | 急性 - 醫院 | 循環 | 胸痛；呼吸困難 | 心肌梗塞 | 1,2,3,6 |
| 6 | 75 | F | 慢性-門診 | 行為/神經 | 認知受損 | 癡呆 | 1,2,3,5 |
- 注：醫師任務的代碼是：1 =病史； 2 = 身體檢查； 3 = 解釋；鑑別診斷； 4 = 醫療處理； 5 = 諮詢； 6 = 轉診/住院。
- 結語：
在醫學生看來，設計完美的OSCE，應讓有能力的學生感到他們：有被以公平、有意義和相關的方式，擴大並回饋了他們的經驗和知識；有被激勵他們各方面的表現；能確定了未來需要改進的地方； 並更能從經驗的壓力中恢復活力 (Bendix-Hickman and Brown) 。
OSCE測驗藍圖 (Test blueprint) 描述了評量醫學生能力的重要關鍵元素，包括要涵蓋的內容、分配給每個內容區域的重點分量以及其他重要的特色。OSCE測驗藍圖除了提供指導和評量醫學生之間的連接外，還可透過其他方式支持醫學教育，例如，作為醫學生的學習指南、為醫學生提供回饋的基礎，並提供評估教學架構。
本文提供了發展OSCE測驗藍圖的實用指南，期以提供相關系所參考，能精益求精。特別要注意發展測驗藍圖的四個步驟，包括確定主要的知識和技能領域（即能力）；設定具體的評估目標；確定達到這些目標的評量方法；及建立分配給每個知識或技能領域的份量。
- 參考資料：
- Sharma P.R., Alsaffarini K.W.B. Preparation for practice and the arguments for standardization in view of the forthcoming medical licensing exam: A literature review. Med Teach. 2020, 40 (4): 451-456. https://www.tandfonline.com/doi/full/10.1080/0142159X.2019.1708291.
- Raymond M.R., Grande J.P. A practical guide to test blueprinting. Med. Teach. 2019, 41( 8), 854-861. https://doi.org/10.1080/0142159X.2019.1595556.
- Mookherjee S, Chang A, Boscardin CK, Hauer KE. How to develop a competency-based examination blueprint for longitudinal standardized patient clinical skills assessments. Med Teach. 2013, 35:883–890
- Bendix-Hickman R., Brown G. Twelve tips for developing an OSCE that measures what you want: The student perspective. Med. Teach. 2020, 42(1):119. doi: 10.1080/0142159X.2019.1619920. Epub 2019 May 26. https://www.ncbi.nlm.nih.gov/pubmed/31131657.
