- 体重はカロリーだ! - http://wp.w8eq.com -

新たに発見されたしくみが、役に立つと分かるまでに越えなければならない関門・その2 (実験・調査に再現性はあるか?)

問い2:
同じ食事(カロリーも同じになります)を、2つのグループの人たちに、
摂る時間帯を変えて摂ってもらうという調査をしたところ、
遅い時間に摂るグループより、早い時間帯に摂るグループのほうが、
体重が少なかったとします。
前回の「体全体で」 [1]という条件は満たしています)

この結果を根拠にして、早い時間帯に食事を摂るほうが、体重が増えにくい
と言っていいのでしょうか?

答え2:

法則性が「ない」はずなのに、「ある」という調査結果が出ることが、20回から100回に1回(5~1%)ある。だから、「体重が増えにくい」と言うためには、何回も同じ結果になるという再現性が必要、
というのが正解です。

ある仮説(法則の候補)を確かめる調査で、意味がない(法則としては落選)のに、偶然意味があるという調査結果が出る場合があります。
調査が正しく(調査方法の誤りやねつ造なしに)行われていても、意味のない仮説に5%~1%(20回~100回に1回)はその仮説は正しい、という結果が出るのです。

別の言い方をすると、全く関係ないA(架空の例:頭痛薬を飲んだ)という出来事と
B(例:糖尿病が治った)という出来事を調べると、
19人の研究者が行った調査では、当然、関係がない(例:効果はない)、
という結果が出るのだが、
1人が行った調査では、関係がある、という結果が出てしまいます。

このとき、AとBの間に関係がない、つまり、法則性が存在しない、
という結果は科学論文になりにくいので、
論文として発表するのは、意味があると出た1人のほうだということになります。

例として挙げた、薬の効き目を調べる調査では、薬を出す医師がどのような薬か知っていると、患者さんが感じる効き目にも違いが出てくることがあるので、医師にも知らせないようにして行います。(二重盲検法といいます)。

そうでない研究では、研究者自身が、調査結果がこうなるはずだ、ということを知っているので、(法則性がある、という方へ)結果に偏りが出ることはむしろ当然かもしれません。

このようにして、法則ではないものも(科学的に正当な)論文として発表されることがあるので、調査が正しく行われていることも含めて、
本当に意味がある仮説だ(法則性がある)というためには、
何度調査をしても同じ結果になるという、「再現性」が必要です。

さて、ダイエット(食事療法)の分野で、この「再現性」を満たしていない研究はあるか? 
というと、この回の初めに書いた

「同じカロリーでも早い時刻に食べると体重が少なくなる」

というのが怪しい [2]

もちろん、「再現性」を満たしている研究は(極めて)多数あります。
しかし、その割には、生活習慣病が治る人は少ない、なぜ?
という疑問については、次回解説します。