Enews175 確保OSCE考試公平之策略
出自KMU e-News
高雄醫學大學e快報 第175期 分享園地【醫學教育】
確保OSCE考試公平之策略
醫學院 劉克明教授
今年 (2011) 全國醫學院聯合臨床技能測驗，是比照高階客觀式結構式臨床測驗（High - Stakes OSCE），屬試辦性質，分成四天 (04/23， 04/24， 04/30， 05/01) ，在全國11個醫學院的14個考場同時進行，參加的考生共達 1051位，是第一次全國性採用同一套試題的客觀式結構式臨床測驗，雖然是試辦，但因規模龐大，参與學校又多，因此筆者在100年3月25日全國醫學院校長會議報告執行現況後，即有師長問及是否會有先考完的學生洩題，導致影響考試的結果，並建議要確實防止違規，以達到考試之公平。有關這個問題，筆者謹引用國外幾位學者的看法，以供參考，並請諸位學者專家提供卓見。
首先引用 Dr. Beck (Dr. J. Beck，Loma Linda University School of Medicine) 提出的問題，他負責該校醫學系二年級的OSCE，採用標準化病人評量學生臨床技能 (clinical competencies)。從三年前開始，他用相同的個案為考題，由於學生人數甚多，每次 OSCE需考三週才能完全考完。然而他發現比起往年，今年更明顯的，先考完的學生，會把 OSCE 考試個案的細節告訴後面考的同學。
他希望能糾正學生此種違法行為，但不知何種方式最適合且有效？他想知道採用保密合約書 (Confidentiality Agreements or Confidentiality Contracts) 是否會成功？且要用什麼樣的文字 (verbage)，才能警告學生，讓學生不敢洩題，以消除這種不法行為。
Dr. Cimino (Dr. C. Cimino， New York University Medical School) 對 Dr. Beck提出的問題，他回應為「要明確告訴醫學生提早知道 ”診斷”，會導致在 OSCE的表現更糟，因為他們會太早就結束與標準化病人的談話 (encounter with SP)，而沒有探討到所有的問題 (reach premature closure and don’t explore all the issue)」。此告知可能是避免考試欺騙的策略之一，但可預料到的是無法真正說服學生不要舞弊。
他認為要學生簽保密合約，事實上沒有多大用處，因為如果學生有意要欺騙，則雖然是簽了保密合約，照樣會說謊。
然而Dr. Cimino認為應該讓學生知道，違反保密合約的後果之重要性是確實有其價值的，而且這些合約在學生入學時的招生簡章、入學後的學生守則、及學生手冊，都有明確的法條規定，當然也可在針對OSCE的考試部分，修改或加重其罰則。
學生違反專業的行為 (unprofessional behavior) 會被學校懲戒，甚至退學。Dr. Cimino認為在OSCE測驗時，學生在教師所提供的資訊以外，如提前就知道有關 OSCE 評量的資料 (advanced knowledge of an assessment)，會產生不公平的優勢 (unfair advantage)，而且會造成違反專業的行為。OSCE 考後，學生所接受到有關其臨床技能被評量時的表現、或被評量結果的資訊，是給考生個人的回饋意見，以供其個人在臨床技能學習方面的缺點改善之用，不應該與其他的同學分享，除非是校方事先有明確的通告學生，於整個OSCE考試結束後可以互相討論。
Dr. Cimino認為學校的學生守則與典型的保密合約的差別是，保密合約沒有要求學生就他們的意見、動機或他們將要做甚麼，作出任何的主張。Dr. Cimino建議 Dr. Beck如果要求學生簽署某些保密合約條文，同時要求他們就下列事實發誓，也是可行的。
“我了解剽竊、欺騙、不公平的優勢及適當的考試行為的定義 (I understand the definition of plagiarism, cheating, unfair advantage, and proper examination behavior)”。
Dr. Shatzer (Dr. J. Shatzer，Vanderbilt University School of Medicine) 對 Dr. Beck之問題則認為，實施高階OSCE時，為了確保謠言的影響（the grapevine effect）減少至最低程度，有必要對每一次OSCE考試皆重新設計，但須更多花費的經費、努力及評估。改善的策略，可能最簡單的是在同一個測驗站的個案，把表演的標準化病人性別或種族改變（change the gender or race of standardized patient）， 也可改變 OSCE 考試個案的順序或採用類似的個案。這種改變並不會有困難，但可能會增加費用。
Dr. Shatzer 建議要跟醫學生強調 OSCE 考試的重點，不是在考診斷出甚麼疾病，而是要測驗他們，如何與病人溝通，並進行收集病人之資料等過程。
他認為其他可考慮的改變是 ” 參加考試的文化” (culture of test-taking)，亦即醫學生能夠從他們OSCE 的表現，得到有用的回饋 (good feedback)。假如這個測驗被醫學生們視為有幫助的，他們可能認為沒有欺騙的價值，就如同要作一件善事，而且提供大家都會贏的情況。
至於防範可能考生有欺騙行為的方法，例如告訴考生 OSCE考試有錄影等監視，可能可以遏止這種不法行為。Dr. Shatzer 建議假如發現醫學生在 OSCE 考試確實有洩題或欺騙等違規行為，則應該要採行適當的處置，否則醫學生會像小孩的行為不端般 (children misbehave) －因為他們知道，對他們的舉動不會有甚麼後果 (no consequence to their action)。
隨後， Dr. Petrusa (Dr. E. Petrusa，Vanderbilt University School of Medicine) 提出，在90年代，Dr. Colliver等人曾進行研究，他們把剛考完OSCE，但是沒給與回饋的醫學生與即將進入考場參加OSCE考試的醫學生集合在一起，讓第一組醫學生將他們對OSCE考試個案能夠想到的每一件事，皆告知第二組醫學生，但 OSCE考試的結果，兩組醫學生的成績並沒有變化。
Dr. Petrusa 曾要求教師們特別去注意那些 OSCE 考試遲到的醫學生，並要觀察那些在OSCE 考試時，其動作表現像是依照死記的某些劇本的醫學生。這些觀察可以提供有關謠言 (grapevine) 的影響，及這些醫學生的表現與先前已經考過 OSCE 之學生有無明顯差別的資料。
Dr. Petrusa建議，根本改善違規的理念 -- 建立一個友善的學習與評量模式下，教師們要求全部醫學生們要表現一樣好，只要他們的表現是真實的。
而 Dr. Santen (Dr. S.A.， Santen Emory University School of Medicine) 曾進行醫學生有關於專業素養不具名的問卷調查，有 32% 醫學生回應曾觀察到他們的同學曾告訴其他同學有關 OSCE 考試的項目或題目，但在 OSCE考試時，Dr. Santen 發現這些違規行為對考試的評分結果並未造成影響。
英國Hall York Medical School的Dr. J. McKendree的看法，她自已認為並不完全瞭解為甚麼讓全部醫學生通過考試是不實際的（unrealistic），Hall York Medical School在OSCE考試的及格成績是採Borderline group 方法，偶爾會全部醫學生都會通過，但他們也會採用其他的測驗方法，例如OSLERs 評量醫學生，因此OSCE測驗通過，並不意味他們就可以畢業。
Dr. McKendree 認為愈來愈多的證據顯示， 後面等待考試的考生，被已考完 OSCE的同學告知測驗站的情況後，並未對這些後面的考生更有好處（not advantage the later groups）。當他們未把考完 OSCE及未考的醫學生們分開（didn’t sequester the students），他們實際上的發現是後面考生們 OSCE的表現比較差。
不過Dr. McKendree 也認為這是一個專業素養的問題。學生們應該是已被告知他們是在被測驗當中，任何人違背考試規則，必須自己要去跟實習委員會說明。實際上，也有學生看到那些違規的行為，但並未提出報告。Dr. McKendree 表示他們曾處罰過一個學生，他在一個 OSCE 測驗站中，把資料抄在手上，因此被校方登錄在他的檔案。Dr.McKendree 建議，要分析學生的 OSCE 考試結果，看是否有任何佔便宜的跡象，而且考生們應該要了解專業化的舉止（to act professionally）是他們的責任，學校的責任不是要隨時随地、全天候地去監視他們（to probe them at all times）。
Dr. Nayer (Dr. M. Nayer，Univ. of Toronto) 引用一篇1999年Dr. De Chanplain 等人以醫學系四年級學生的研究結果，指出在 OSCE考前提供考生評分表（Checklist），會對評分表的評分及撰寫報告部分 (written component) 會造成影響，但對人際間的技巧（interpersonal skills）及整體成績並沒有影響。
Dr. Nayer 負責外國醫學生要申請進入加拿大 Ontario 醫院實習的 ”國外醫學院畢業生 (IMG) 實習的高階考試，考生除了需要遵守考試規則（Rules of Conduct for Examinations）外，她還會到考場，並跟考生強調，參與考試之學生們皆同意這些考試規則的規定而且簽了名。她在每次考試之前皆會去宣示三次。事實上，她們已登錄了一些洩題的事件（some breaches of materials）。
Dr. Hu (University of South Wales Australia) 則提及他們醫學生人數甚多，OSCE測驗需要兩天以上，且在七個考場同時舉行，因此每天之題目會不一樣。 Dr. Hu 曾經驗過一次安全被破壞的憾事，事情發生的過程是，第一天被隔離的某一個考場的學生，接到了一份有關第二天的考題之評分表，更糟的是當場有一位被隔離的學生違反規定，擅自把手機帶入隔離室，立即拍照並把第二天考題傳給朋友，而朋友又傳給其他的朋友。Dr. Hu是在一位接到這些考題的學生，自願把他的影像透露後，才發現洩題的事實。由於沒有時間去更改題目，因此決定把考題公佈給所有考場的學生，讓大家有同等的準備，且適當地評分。
學生對該次 OSCE考試的回饋意見是（1）他們覺得與那些收到洩題的同學一樣被抹黑，很不公平。（2）第二天的學生在考OSCE時更緊張，因為他們感到必須更完美的表現，才能得到相同的成績。
Dr. Hu認為這個故事給他們的教訓是，不管我們如何防範，由於人的本性，洩題在未來還是會繼續發生。學生及同僚是最好的警察，但最理想是要有一個所有學生皆能方便運用的題庫，每一次OSCE考試，能夠隨機的由題庫選題。如果學生把全部題庫都學會，且能在OSCE考試表現百分之百的完美，也是一件好事。
Dr. Hu建議如果任何保密合約書的用詞，是以任何洩題等違法造成之不公平（unfair of breaches）為焦點，則可能有助於學生的同意。
結論與建議:
Dr. De Champlain等人認為任何與高階OSCE考試有關的機構，主要關心問題之一是要確保提供給考生的成績及通過與否的報告，是正確及有效的反應出OSCE測驗目標所要求之精練度 (proficiencies) (De Champlain et al. 1999)。
Dr. De Champlain等人指出洩漏評分表 (checklist) 的項目，不管是經由不誠實的補習課程洩漏的資訊、或更直接的違法洩題，會導致學生考試表現得到高分。為減少洩題等違規事件的發生，可以預先規畫，把幾個測驗站的題目組輪替 (rotating case sets at various sites on a regular basis)，以限制考題被曝光的比例。
謹建議確保OSCE考試公平之策略:
1. 與 OSCE有關之考官、考生、標準化病人、試務人員皆需簽寫保秘合約書，並確實遵守其規定。
2. 建立 OSCE題庫。
3. 每一梯次 OSCE考題需重新規畫。
4. OSCE 考題的個案，儘量安排男、女標準化病人皆可扮演。
5. OSCE測驗時，將考站順序適時調整。
6. 公布 OSCE 測驗臨床能力之名稱。
7. 公布 OSCE 測驗臨床症狀之名稱。
參考資料:
1. De Champlain, AF., M.K. MacMillan, et al. 1999. Modeling the effects of security breaches on students’ performances on a large-scale standardized patient examination. Academice Medicine 74 (10( supplement)): S49-51.
2. http://www.cehpea.ca/pdf/WEI_conduct.pdf. (accessed 03/30/2011).
3. https://mail.google.com/mail/?ui=2&ik=69fcfcb6be&view=pt&search=inbox&msg=12ecbd2bc3b8bd... (Accessed 03/30/2011)
