STEP 13 / 14

再現性與報告標準

MIQE、ARRIVE 2.0、CONSORT、FAIR、preregistration——讓你的數據可被重現。

MIQE, ARRIVE 2.0, CONSORT, FAIR, preregistration — make your data reproducible.

可重現性危機有多嚴重?

Begley & Ellis 2012 (Nature) 嘗試重現 53 篇臨床前癌症論文,只有 6 篇(11%)可重現。Baker 2016 (Nature) 調查 1,576 名科學家,>70% 曾無法重現他人結果,>50% 連自己的結果也無法重現。

為對抗此問題,學界推出一系列報告規範 (Reporting Guidelines):每種研究類型都有對應的 checklist。投稿主流期刊時必須附上對應的 completed checklist。EQUATOR Network 是規範總覽入口 (https://equator-network.org/)。

Begley & Ellis 2012 (Nature) attempted to reproduce 53 preclinical cancer papers — only 6 (11%) succeeded. Baker 2016 (Nature) surveyed 1,576 scientists: >70% failed to reproduce someone else's results; >50% couldn't reproduce their own.

Reporting guidelines arose in response — every study type has a checklist. Top journals require a completed checklist on submission. The EQUATOR Network is the master portal (https://equator-network.org/).

⚠️
核心原則:「再現性 (reproducibility)」是「給同樣資料同樣程式碼能得到相同結果」;「重複性 (replicability)」是「新資料能驗證原結論」。兩者皆需要 transparent reporting。Core: "Reproducibility" = same data + code → same result. "Replicability" = new data confirms the conclusion. Both require transparent reporting.

一、依研究類型對照 guideline

研究類型規範最新主要要求
RT-qPCRMIQE 2.02025 (Bustin)RIN+E+ref+LOD CI
dPCRdMIQE2020 (Huggett)分割數
Flow cytometryMIFlowCyt / MIFlowCyt-EV2008 / 2020儀器+comp+FMO
動物實驗ARRIVE 2.02020 (Percie du Sert)10+10 項
RCTCONSORT2010 (Schulz)隨機+盲+流程圖
觀察性STROBE2007選樣+偏誤
診斷準確度STARD-AI2025 (Salim, Nat Med)STARD+AI
預測模型TRIPOD+AI2024 (Collins, BMJ)公平性+外部
醫學影像 AICLAIM2020 (Mongan)資料+訓練
系統綜述PRISMA 20202021 (Page)搜尋+註冊
資料管理FAIR2016 (Wilkinson)F+A+I+R

二、從計畫到發表的可重現工作流

實驗前:preregister

在 OSF (osf.io) 或 ClinicalTrials.gov 註冊。明列主要分析、樣本數估算、停止規則。

Register on OSF (osf.io) or ClinicalTrials.gov. State primary analyses, sample-size justification, stopping rules.

實驗中:SOP + metadata

抗體 RRID、PCR primer 序列、儀器設定全部記錄。實驗 notebook 用 Benchling 或 LabArchives。

Antibody RRIDs, primer sequences, instrument settings — log everything. Use Benchling or LabArchives.

分析:可執行報告

所有圖表都在 .qmd / .Rmd 動態生成;用 renv 或 Docker 鎖定 R/Python 版本與套件。

Every figure generated dynamically in .qmd / .Rmd; lock R/Python versions with renv or Docker.

發表:三件套

原始資料上 Zenodo / GEO / PRIDE;程式碼上 GitHub + Zenodo DOI;完整 reporting checklist 隨稿附上。

Raw data → Zenodo / GEO / PRIDE; code → GitHub + Zenodo DOI; full reporting checklist as supplement.

發表後:持續維護

修正 issue、更新 README、版本化(v1.0.1)。Erratum 必要時於 PubMed 顯示。

Fix issues, update README, version (v1.0.1). File errata on PubMed if needed.

三、環境鎖定一覽

# 1. renv 鎖定套件版本
install.packages("renv")
renv::init()            # 自動偵測 .R/.Rmd 用到的套件,寫入 renv.lock
renv::snapshot()        # 隨時更新 lock
renv::restore()         # 他人從 renv.lock 還原

# 2. Quarto 文檔:YAML + 動態程式碼 + 引用
# --- header.qmd
## ---
## title: "QC report"
## execute:
##   warning: false
##   echo: true
## bibliography: refs.bib
## format: html
## ---

# 3. 工作流:Make / targets 管理任務依賴
library(targets)
tar_target(raw_data, read_csv("data/raw.csv"))
tar_target(clean,    qc_filter(raw_data))
tar_target(fig1,     plot_fig1(clean))
# 1. 鎖環境(建議 uv 或 conda)
# uv:
uv init && uv add pandas numpy scipy scikit-learn deseq2 pingouin
# 產生 uv.lock,他人 uv sync 即還原

# conda:
conda env create -f environment.yml
conda env export --from-history > environment.yml

# 2. Quarto + Python — 同樣語法
# 3. Snakemake / nextflow 工作流
rule all:
    input: "results/fig1.png"

rule qc:
    input:  "data/raw.csv"
    output: "data/clean.csv"
    shell:  "python qc.py {input} {output}"

rule fig1:
    input:  "data/clean.csv"
    output: "results/fig1.png"
    shell:  "python fig1.py {input} {output}"

# 4. Docker 最徹底 — 鎖系統依賴
# FROM rocker/r-ver:4.3.2 / python:3.11-slim

四、FAIR 原則

🔎

F – Findable

資料有 persistent identifier (DOI)、metadata 完整可被搜尋。

Data have persistent IDs (DOI); metadata is rich and indexed.

🔓

A – Accessible

可由標準協定取得(HTTP/FTP);即使資料 access-controlled,metadata 仍須公開。

Retrievable via standard protocols (HTTP/FTP); even if data are access-controlled, metadata remains public.

🔗

I – Interoperable

使用社群標準格式(HDF5、CSV、OME-TIFF)、本體(ontology)與詞彙表。

Use community-standard formats (HDF5, CSV, OME-TIFF), ontologies, and shared vocabularies.

♻️

R – Reusable

清楚的授權 (CC-BY, MIT)、來源 (provenance)、與符合領域標準的 metadata。

Clear licensing (CC-BY, MIT), provenance, and domain-relevant metadata.

🎯 章末小測驗

1. 動物實驗報告規範?

CONSORT
ARRIVE 2.0
PRISMA
STROBE

2. 2024 ML 預測模型最新規範?

TRIPOD 2015
TRIPOD+AI (Collins 2024, BMJ)
CONSORT-AI
STARD 2015

3. FAIR 中 A 代表?

Accurate
Accessible
Anonymous
Audited