跳到主要內容

[EBM] 當統計不顯著時，我該計算研究的檢力嗎？Misleading post-hoc power

看文獻、做研究時，碰上不顯著，總想起統計老師的話「不顯著代表不能拒絕虛無假說，不代表兩者相同」。我們又學過，發現兩者差異的能力稱為檢定力 (Power)，那是不是計算資料的 Power，如果這「發現差異的能力」大於80%，卻仍然有不顯著的結果，就代表這兩組資料真的很相近呢？

以前是那麼相信的，但越算越覺得奇怪

直到自己多算了幾次，發現 Power 其實和 P-value 是非常掛鉤的。Power 與 P-value 都是受到樣本數、標準差、平均差的影響。當兩組的平均差很近、P-value >0.05時，表示兩組資料的分佈重疊部分很高，用這樣的結果來計算 Power ，當然會獲得一個很低的 Power。

（進一步澄清，這個實驗做完才計算的 Power 稱為 Post-hoc power，是今天要討論的主題。而我們在計算需收樣的樣本數時的 ，則直接稱為 Power，是很重要且有需有的步驟。）


Post-hoc power 其實受到 P-value 的影響

我開始看更多文章，發現原來 Post-hoc power的計算，就受到了P-value的影響（畢竟他們都是用同樣的樣本數、標準差、平均差來做計算），當 P-value >0.5，我們計算 Post-hoc power 希望達到 0.8 時，其實要 P-value 小於0.0065才能達到，這可不是自相矛盾嗎！


那我們不計算 Post-hoc power，還可以怎麼做呢？

第一個，我們可以計算 Partially post-hoc power，這是這篇文章提出來的方法。當然這名字很奇怪，怎麼會有個 partially post-hoc 的東西呢？他提到的是，我們用來計算 Power 的平均差，應該要用 Minimal clinically important difference (MCID, 最小臨床有意義差距) 來代替，這樣可以脫離與P-value的掛勾。解釋時就會從「我們有 post-hoc power % 的信心，去發現這兩組有達到顯著差異」，變成「我們有  post-hoc power % 的信心，去發現這兩組有達到 MCID 的顯著差異」。

第二個，我們可以看結果的信賴區間 (Confidence interval) 搭配「有意義的最小差距」(MCID)。以身高來說，有意義的 MCID 當作是 5公分。這時如果想知道兩班的身高差距，我們得到身高差距的95%信賴區間是 [-2cm, 3cm]，那我們可以判斷有包含到 0，所以這是個不顯著的結果，且信賴區間的範圍沒有包含到 +5cm , -5cm，表示就算有差距也到有意義的程度。而如果我們得到的是 [-10cm, 20cm]，那不只是不顯著，還表示差距從矮十公分，到多二十公分都有可能，這時我們就不太敢說兩組沒有差距了。

第三個，我們可以用貝氏定理 (Bayesian model)，這在臨床研究上較少見，判讀起來大家也較不熟悉。統計分成兩種大類，第一類是傳統的統計，也就是看分佈來計算可能性，我們平常用的 t-test、ANOVA 等都是屬於這一類。第二類是貝氏定理，會先主觀地給出一個可能的機率、數值 (prior)，然後在我們收案後，去計算可能的機率變成多少。這是相對於傳統統計的一大類別，個人瞭解也不夠深入，有興趣的再請自行 Google 吧～

三種替代方案，使用哪個方法好呢？

依據找到的方法學論文，Partially post-hoc power他認為仍然是基於Post-hoc power的計算，所以還是會受到收到的資料影響；Confidence interval 搭配 MCID 則很好判讀、很通用，是個好選項；Bayesian model 應該是最好表達實際狀況的方法，但是多數人不熟悉。

這樣看來，最實用的就會是Confidence interval的判讀了。而這其實也跟 2022 年 09 月 Cochrane GRADE guideline 最新提出，對不準確  (imprecision) 的判讀方法相吻合，在這個項目，GRADE不看 p value，而是看 95% 信賴區間是否包含到MCID的上下限來做判斷，有興趣可以看這個新發表的影片。



標籤：

留言

張貼留言

熱門文章

ACSM CPT 準備心得 (一)：前言

考到美國運動醫學會證照 (ACSM-CPT)了！ 我應該是很靠「身體學習」的人，大學時就特別喜歡解剖，因為可以在自己身上摸到那些構造，也可以透過觀察身體，去感受每個部位的存在，然後嘗試在不同狀態下，各個部位的變化，應證書上說的事物。到實習醫師時，在復健科學到運動處方，也覺得很有趣，雖然不是特別愛運動的人，但又有一個可以讓我去觀察身體的學科，試著去剖析運動的方式，想像著身體裡正發生的事情，很引人入勝呢！或許也是這樣的原因，後來才選要走復健科吧～ 今年九月就要進復健科，想說趁這段時間先來把運動醫學學起來，順便考張證照來給自己持續唸書的壓力。網路上查來查去，ACSM很適合醫療相關背景的人來考，通過率也是五大證照裡最低的，美國人來考通過率是53%（這個自虐XD），就報名了五月份林嘉志老師的ACSM-CPT課程，並趕在五月最後一天通過考試！！ 實在很開心，因為題目比想像中的靈活，也考很多美國法律、保險，甚至心理學的東西。 網路上較少題目相關的分享 ，因此想來分享考試的心得與技巧，希望讓有興趣考的人有個參考～ ACSM-CPT 準備心得 ACSM-CPT 準備心得 (一)：前言 ACSM-CPT 準備心得 (二)：資源 ACSM-CPT 準備心得 (三)：題目方向 ACSM-CPT 準備心得 (四)：準備過程與考試當天
張貼留言
閱讀完整內容

ACSM CPT 準備心得 (二)：資源

ACSM在台灣並不常見，卻是國際上是很重要的一張證照 ，因此如果以英文學習的話，相關資源很多！不過因為時間有限，我報考ACSM的那段時間，也報名了神經復健年會、下肢裝具、吞嚥治療、小兒肌肉痙攣的課程（大家都擠在四五月呀），因此就 以最快能學會為目標 前進了。以下介紹我準備過程中使用的資源囉： 課程： 林嘉志老師 嘉志老師是台灣少數各個運動證照都有的神人，東華大學教授，學識淵博 課程有三天，從介紹五大證照開始，到講解整本CPT textbook， 涵蓋大部分的內容，能快速掌握到重點 老師有自己錄製YouTube影片，講 無氧閥值測量法 等，分享在他的網站中。可以聽聽看來知道老師上課的速度、模式，也多了解運動知識。 會創建臉書社團，準備過程的疑問都可以在上面發問，超出課本的範圍也都可以和老師討論 書本 ACSM's Resources for the Personal Trainer：這本是考試題目出處，是最主要的教科書，也是上課內容的主要來源。這本有上課的話，可以用優惠價買到，比網路上都便宜。上課前想看的話，可以先去圖書館借來看。但我會建議課前翻嘉志老師的講義就好，足夠快速掌握內容了。 ACSM's GETP：這本像是 工具書，包含的內容超過CPT考試的範圍 ，目前出到第11版，中文版則是嘉志老師翻譯到第10版。內容很扎實，講的內容有實證導向，還滿實用的書本，我準備的後期其實多是在看這本，但可能已經超過考試範圍一些了。這本報名嘉志老師課程，會附中文版，價格與外售相近，想先看的話可以網路上購買。如果想要購買最新版，推薦上 Amazon 購買英文的第11版，找朋友湊個60鎂免運，比台灣購買便宜很多喔！ 嘉志老師的課程講義：萃取了原文書的重點內容，我上課前有先把整本翻過，把有疑問的地方找出來，上課學習會更順利。另外也聽前人分享，考前把這本翻個三四次很有幫助。我自己則是把所有東西都整理在我的筆記，就沒這樣做了。 題目 ACSM's Certification Review： 官方出的考試複習書本，包含幾個案例討論，以及100題的練習題 。嘉志老師課程其實會附上後面的練習題，所以主要用處就是那幾個案例討論。案例討論很接近考題的靈活度，推薦一定要寫完，並且就各個案例回去翻相關的章節作為複習。可以的話，圖書館借就好了，並不需要買回家。只是要注意舊版的內容與現...
張貼留言
閱讀完整內容