評估品質改進干預措施實施的精確性

精確度（Fidelity）就是變革按照預期實施

精確度就是變革按照預期實施的程度。在評估調查結果中，我們需要使用執行精確度的指標來說明執行情況。假如評估調查是否定的結果，一種可能性是我們正確的實施了無效的對策。另一種可能性則是可能有效的變革對策並沒有被充分的實施。此時，精確度就可以幫助我們確定專案遇到的是哪種可能性。

衡量對策實施的精確度

依照變革理論選擇精確度衡量指標
- PDSA層級精確度衡量指標
- 專案層級精確度衡量指標
為每個衡量指標決定一個可接受的最低精確度
建議將可接受的最低精確度設為70%。如果精確度小於70%，則任何變革的影響都將被減弱，很難做到更大範圍的推廣，且評估的需求樣本數可能會變得非常的大（如表1所示）。如果最低精確度小於70%，則下一步行動，應該是要透過持續監測精確度，來找出實施的障礙，並且改善它。武斷主觀的可接受最低精確度為70%。
訂定抽樣策略
- 取得剛好足夠進行下一步的資料
- 充分運用實際相關主題專業來選擇最合適樣本。
初期階段：便利抽樣樣本
在初期階段使用小樣本的便利抽樣來進行變革的測試及改善。這些便利抽樣樣本可以包括那些接受理想狀態、對變革熱心的支持者。努力朝向實現兩次連續便利抽樣樣本（Convenience sample）都超過可接受最低精確度的第一個里程碑邁進。如果連這個簡單的里程碑都沒有辦法實現，大範圍推廣是不可能成功的。變革對策應該進行改進，或是放棄該對策。

下一個階段：立意抽樣（或稱判斷抽樣）
達成第一個里程碑後，開始進行立意抽樣，這些樣本能反映出更具代表性的系統表現成果。立意抽樣可以利用相關專業知識來確保實施的變革測試範圍更廣，包括可以預期實施困難的情況。第二個里程碑是實現兩次連續立意抽樣樣本（Purposive sample）都超過可接受最低精確度。.

在小樣本調查中，資料的品質是很重要的。
小量樣本
確保資料品質的五個重要步驟是：（1）定義樣本收案條件；（2）訂定排除標準；（3）說明每個循環／抽樣的調查期間；（4）持續記錄排除紀錄；以及（5）確保資料蒐集完整。旨在持續納入符合條件的病人。理想的抽樣方式是隨機抽樣，但很遺憾通常隨機抽樣不太符合實務作業。
選擇實際樣本數
假設可用於衡量的資源受限。若每個週期實際分配到可以抽樣的病人最多10位。可接受最低精確度為70%，則每個週期最少必須成功抽樣7／10人。如果一個週期內有4個病人未成功抽樣，則該週期即判定為沒有達成要求成功數，必須停止循環，並進行定性（質性）調查，做必要的調整。
繪製趨勢圖
趨勢圖是進一步增強團隊對於專案（或對策）實施精確度信心的有效方法。 Provost及Murray[3]建議一個趨勢圖最少需要有10個資料點，其中每個資料點需要至少10個觀察值，且採用一致的抽樣方法。請勿將步驟4的資料拿來繪製趨勢圖，因為在步驟4當中，其對策變革、實施方法及抽樣方法都在不斷的進行調整。第三個里程碑是實際精確度之中線超過可接受最低精確度的穩定趨勢圖。. 下列項目為判定趨勢圖是否穩定的簡單規則。如果違反任何一個規則，則該趨勢圖即判定為不穩定狀態。
- 規則１─ 位移：連續6個資料點超過或低於中線（不包括在中線上的點）。
- 規則2─ 趨勢：連續5個資料點往上或往下。
- 規則3─ 擾動：資料點太常或太不常跨過中線。
推移圖實踐

趨勢圖無法將實施精確度的變異程度量化。要將實施精確度變異程度進行量化，需要使用更大樣本數及更長期間抽樣的管制圖。如果有充足的資料及資源，那麼可以在專案更早期的時候，就投入使用管制圖。否則，我們建議在達成「實際精確度之中線超過可接受最低精確度的穩定趨勢圖」這個里程碑前，不要貿然進行更大範圍的推廣或評估。

精確度監測作業里程碑

表1、初期Plan-Do-Study-Act（PDSA）實施循環週期之假想結果
循環	樣本	表格正確完成	定性回饋	行動
1	便利抽樣	2/6=33%	難以理解內容找不到表格	將表格內容改得更清楚將表格放在容易查找的地方
2	便利抽樣	4/8=50%	難以理解內容	將表格內容改得更清楚
3	便利抽樣	7/10=70%	找不到表格	將表格放在容易查找的地方
4	便利抽樣	8/10=80%	完成表格很耗時	將表格內容改短一點達成第一里程碑；進行立意抽樣
5	立意抽樣	0/4=0%	不知道有表格	增加人員對表格的認識
6	立意抽樣	8/10=80%	難以理解內容完成表格很耗時	將表格內容改得更清楚將表格內容改短一點
7	立意抽樣	9/10=90%	不知道有表格	增加人員對表格的認識達成第二里程碑；準備繪製趨勢圖

參考文獻： Etchells E, Woodcock T. [2]

專案層級衡量指標（方法）

表2
精確度	樣本
100%	100
95%	110
90%	123
85%	139
80%	156
75%	179
70%	204
60%	278
50%	400
40%	625
30%	1,111

說明（表2）：實施精確度對評估調查所需樣本數的影響。
精確度：實施精確度（%）
樣本：評估調查所需樣本數

反映變革最終目標的專案層級衡量指標也能在繪製趨勢圖階段訂定及進行測試。這種額外的衡量工作可以：

增強團隊使用正確的變革推論的信心。如果對策實施是可以接受的，則那麼在其他的專案層級衡量指標表現上應該會出現改善的趨勢，不過不必過度期望其具有統計顯著差異。如果對策是非預期的否定結果，則應該重新檢視變革推論、對策實施計畫及衡量方法。

規劃第四個里程碑的樣本數：執行評估調查（Evaluative study）。要估計樣本數，必須要有精確度估計及其他專案層級衡量指標的基準值。對許多專案來說，變革是針對提供者（如醫師、藥師、護理人員、復健師、行政人員、及其他各職類人員…等），但變革的影響卻是透過對病人的衡量。以用藥整合這個範例而言，目標是改變醫師填寫相關表格，但卻是衡量使用這個方法後，對其下游病人所造成的影響（藥物錯誤及可預防的藥物不良事件）。在這種情況下，樣本數估計必須考量變革目標及下游衡量之間的相關性。（表2）

在進行評估調查（Evaluative study）之前，優化對策實施的精確度是很重要的。越低的實施精確度，影響程度也就越小。也就是在這個條件下，我們如果要檢測變革的影響，就會需要更大的樣本（表2）。假設要檢測影響的估計樣本大小為100名病人，則這個實施精確度的條件即是設定為100%。如果實施精確度設定為70%，則要檢測其具有相同影響的樣本數就變成兩倍的204名病人。如果實施精確度為70%，但只有100名病人納入收案，則調查將會產生否定的結果（無顯著）。結論是即便實施精確度只有小幅的改善，也能降低所需的樣本數，並且提高證明對策有效的機率。把實施精確度從70%提升到80%，可以將所需的樣本數從204人降低成156人。

評估品質改進干預措施實施的精確性

精確度（Fidelity）就是變革按照預期實施

衡量對策實施的精確度

精確度監測作業里程碑

專案層級衡量指標（方法）

相關資源