標準參照測驗通過分數設定方法之研究
本研究主要的目的有二：(一)評鑑Nedelsky法、Angoff法、Ebel法及評定量表法等四種判斷模式之優劣，評鑑的標準包括所設定通過分數之高低，不同評判者判斷結果之一致性以及與實測資料之相關等；(二)評鑑臨界組法以及圖示法、 LDF法、QDF法及M-SD法等四種對照組法之優劣，評鑑的標準包括所設定通過分數之高低、穩定性、複本信度、正確決定機率、分類誤差、對領域通過分數估計之精確性以及是否容易受抽樣變動之影響等。實徵研究部份，資料的來源包括評判者判斷資料及學生實測成績。評判者共有五十人，均事先參加通過分數設定方法之講習。受試學生共有1226名台灣南區國民小學一至六年級學生，每人分別接受研究者...
| Main Author: | |
|---|---|
| Published: |
國立政治大學
|
| Online Access: | http://thesis.lib.nccu.edu.tw/cgi-bin/cdrfb3/gsweb.cgi?o=dstdcdr&i=sid=%22A2002000131%22. |
| Summary: | 本研究主要的目的有二：(一)評鑑Nedelsky法、Angoff法、Ebel法及評定量表法等四種判斷模式之優劣，評鑑的標準包括所設定通過分數之高低，不同評判者判斷結果之一致性以及與實測資料之相關等；(二)評鑑臨界組法以及圖示法、 LDF法、QDF法及M-SD法等四種對照組法之優劣，評鑑的標準包括所設定通過分數之高低、穩定性、複本信度、正確決定機率、分類誤差、對領域通過分數估計之精確性以及是否容易受抽樣變動之影響等。實徵研究部份，資料的來源包括評判者判斷資料及學生實測成績。評判者共有五十人，均事先參加通過分數設定方法之講習。受試學生共有1226名台灣南區國民小學一至六年級學生，每人分別接受研究者編製之數學單元測驗或語文理解測驗。模擬研究部份主要目的是在比較圖示法、LDF法、QDF法及M-SD法等四種對照組法中那一種方法所設定之樣本觀察分數通過分數，最能正確估計母群領域通過分數，而且最不受抽樣變動之影響。模擬研究之過程如下：1.研究者自行設計能產生常態及各種不同偏斜程度次數分佈型態之隨機亂數程式，模擬母群領域分數之次數分佈，並進行模擬取樣；2.將模擬取樣所得樣本，依其領域分數是否大於事先所假定之領域通過分數，分別將其歸為精熟組或未精熟組樣本；3.模擬二項式誤差機率分佈，分別獲得精熟及未精熟組樣本觀察分數之次數分佈及各項基本統計數；4.以圖示法、LDF法、QDF法及M-SD法求得通過分數；5.重複上述1∼4的步驟，每種情況各模擬30次。由於模擬的狀況包括不同的領域分數分佈型態、不同取樣人數、不同題數及不同通過分數等多個層面，故耗時甚多，總共在IBM PC-XT相容產品上約跑了500小時以上。茲將本研究之主要發現歸納如下：
一、就Nedelsky法、Angoff法、Ebel法及評定量表法等四種判斷模式來比較，研究者所發展的評定量表法在技術的適切性優於其他三種判斷模式，在實用性上與其他三種方法相若。
二、就圖示法、LDF法、QDF法及M-SD法等四種實徵模式來比較，研究者所發展之對照組M-SD法在對母群領域通過分數估計之正確性及穩定性方面均顯然優於圖示法、LDF法及QDF法。在實用性方面，圖示法最高，M-SD法次之，LDF法及QDF法最差。
三、精熟與未精熟組次數分佈型態、人數及變異數比率是影響圖示法、LDF法、QDF法及M-SD法所設定通過分數高低及精確性之重要因素。當精熟與未精熟組均為常態分配，而且人數及變異數也相同，那四種方法所設定通過分數有很高之一致性。
四、臨界組法與對照組法所設定通過分數之信度及效度相若。
|
|---|