資料標註與偏誤檢測：AI 模型好不好，資料品質說了算

Q: 資料標註與偏誤檢測？AI 模型好不好，資料品質說了算？

資料標註有哪些方法？什麼是弱標註和主動學習？五大偏誤類型如何檢測與修正？

一、學習目標

完成本課後，你將能夠：

說出主要的資料標註任務類型，並理解各自的應用場景
比較人工標註、眾包標註、弱標註、主動學習等方法的優缺點
列舉五大偏誤類型，並解釋其成因與危害
描述偏誤檢測的技術方法，包括統計分析與公平性指標
說明偏誤緩解的常見策略與工具

二、核心內容

2.1 資料標註任務類型

想像你是一家訓練導盲犬的機構。你手上有上萬張照片，要讓 AI 學會「看懂」這些照片，你必須先告訴它每張圖裡有什麼。這就是資料標註 (Data Annotation) 的核心工作——為原始資料加上「說明標籤」，讓 AI 有東西可以學。

影像類標註

任務類型	英文名稱	說明	生活比喻
影像分類	Image Classification	為整張圖打一個標籤	把照片放進「貓」或「狗」的相簿
邊框標註	Bounding Box	在物件外圍畫矩形框	用紅框框出照片裡每隻動物的位置
語意分割	Semantic Segmentation	為每個像素分配類別	用不同顏色的蠟筆塗滿每一個物體區域
實例分割	Instance Segmentation	區分同類別的不同個體	不只塗出「貓」，還要區分「第一隻貓」和「第二隻貓」

文字類標註

任務類型	英文名稱	說明	範例
命名實體識別	NER (Named Entity Recognition)	標出人名、地名、機構名	「台灣大學位於台北市」
文字分類	Text Classification	為整段文字分類	判斷評論為「正面」或「負面」
關係抽取	Relation Extraction	標出實體間的關係	「賈伯斯創辦了蘋果公司」
問答對	QA Pair	建立問題與答案的對應	訓練問答機器人的原料

考試重點：語意分割 (Semantic Segmentation) 和實例分割 (Instance Segmentation) 的差異：語意分割只區分「類別」，同類的所有個體視為同一個群體；實例分割則進一步區分同類中的每一個個體。

2.2 標註方法比較

好比蓋一棟房子，可以請一位大師傅慢慢蓋（品質好但很慢），或是找一群工人一起蓋（快但需要品質控管），或者用預製組件加快速度。資料標註也有類似的「施工方法」選擇。

人工標註 (Human Annotation)：由領域專家或訓練過的標註員逐筆標記，品質最高，成本也最高。適合需要高精度的醫療影像、法律文件等場景。
眾包標註 (Crowdsource Annotation)：透過平台（如 Amazon Mechanical Turk）將任務分發給大量非專業人員完成，速度快、成本低，但需要嚴格的品質控管機制（如多人交叉驗證）。
弱標註 (Weak Labeling / Weak Supervision)：不依賴人工逐筆標記，而是用「標註函數 (Labeling Functions)」或啟發式規則自動產生帶有雜訊的標籤。代表工具為 Snorkel。比喻：不請老師一題一題改作業，而是用「包含關鍵字就算正確」的規則快速批改，再用統計方法估計哪些批改是準的。
主動學習 (Active Learning)：讓模型主動選出它「最不確定」的樣本，優先送去給人工標註。這樣可以用少量標註達到最大的學習效益。比喻：學生不是從頭到尾做所有練習題，而是挑自己最不會的題型集中練習，事半功倍。
半監督學習 (Semi-supervised Learning)：混合少量已標註資料和大量未標註資料一起訓練，讓模型自己「猜」未標註資料的標籤並從中學習。

考試重點：主動學習 (Active Learning) 的核心精神是「讓模型選擇最有價值的樣本來標註」，目標是以最少的標註成本達到最好的模型效果。選題時注意它強調的是「標註效率最大化」。

2.3 標註工具比較

工具名稱	主要用途	授權方式	特點
Label Studio	通用（影像、文字、音訊）	開源 / 商業版	支援多種任務類型，介面直觀
CVAT	電腦視覺（影像、影片）	開源	Intel 開發，支援 3D 點雲標註
Prodigy	NLP 文字標註	商業版	內建主動學習，與 spaCy 深度整合
doccano	文字分類、序列標記	開源	輕量化，適合小型 NLP 專案
SuperAnnotate	企業級影像標註	商業版	支援 AI 輔助標註，品質管理完善
Amazon SageMaker Ground Truth	雲端標註服務	商業版（AWS）	整合 AWS 生態，支援人機協作標註

考試重點：Prodigy 是少數原生內建主動學習的標註工具，由 spaCy 的開發商 Explosion AI 出品。Amazon SageMaker Ground Truth 是 AWS 提供的全託管標註服務，可結合眾包與機器輔助。

2.4 五大偏誤類型

偏誤 (Bias) 是讓 AI 模型「學歪」的根本原因。就像老師教學時有偏見，學生就會學到錯誤的世界觀。以下是五種主要的資料偏誤類型：

樣本偏誤 (Sample Bias / Sampling Bias)：收集的資料無法代表真實世界的分布。比喻：只調查台北市民對捷運的滿意度，卻宣稱代表「全台灣人」的意見。危害：模型在特定族群上表現良好，在其他族群上嚴重失準。
標籤偏誤 (Label Bias / Annotation Bias)：標註者的主觀偏見或不一致性導致標籤錯誤或不公平。比喻：不同老師改同一篇作文，評分標準不一，有的老師特別喜歡某種寫法。危害：模型學到標註者的偏見而非真實規律。
測量偏誤 (Measurement Bias)：資料收集或測量的工具、方法本身存在系統性誤差。比喻：溫度計沒有校準，所有測量值都偏高 2 度。危害：即使標註正確，原始資料本身就已失真。
遺漏偏誤 (Omission Bias)：某些重要特徵或族群在資料中被系統性地排除或低度代表。比喻：病歷資料只收錄有就醫習慣的人，對不常就醫的族群一無所知。危害：模型對被遺漏的族群做出嚴重不公平的預測。
確認偏誤 (Confirmation Bias)：資料收集或標註過程受到先入為主的觀念影響，傾向尋找並強化既有假設。比喻：研究者認為「喝咖啡有害健康」，所以只收集支持這個觀點的文獻。危害：形成惡性循環，偏見不斷被強化。

2.5 偏誤檢測技術

發現偏誤就像找出食物中的雜質，需要系統化的方法。

統計分布分析

檢查各類別、各族群在資料集中的分布是否均衡：

資料集族群分布檢查流程

  原始資料
     |
     v
  +-----------+
  | 按保護屬性  |  (性別、年齡、族裔等)
  | 分群統計   |
  +-----------+
     |
     v
  +-----------+     不均衡?
  | 比較分布   | ---------> 警示！可能存在樣本偏誤
  +-----------+
     |均衡
     v
  繼續後續分析

視覺化方法

直方圖 (Histogram)：觀察特徵分布，發現長尾或峰值異常
混淆矩陣 (Confusion Matrix)：按子群體分解，看各族群的錯誤率是否有系統性差異
箱型圖 (Box Plot)：比較不同族群的特徵分布差異

公平性指標 (Fairness Metrics)

指標名稱	英文	計算方式	理想值
差異影響比率	Disparate Impact Ratio	弱勢族群正面結果率 / 優勢族群正面結果率	接近 1.0（≥ 0.8 為及格線）
統計均等差異	Statistical Parity Difference	兩群體正面預測率之差	接近 0
均等機會差異	Equal Opportunity Difference	兩群體真正率 (TPR) 之差	接近 0

考試重點：差異影響比率 (Disparate Impact Ratio) 是最常見的公平性指標。計算公式為弱勢族群獲得正面預測的比例除以優勢族群的比例。美國法律慣用的「四分之三原則 (80% Rule)」要求此比率不得低於 0.8。

2.6 偏誤緩解策略

發現偏誤後，下一步是修正它。

重新取樣 (Resampling)：
- 過採樣 (Oversampling)：複製少數族群的樣本，如 SMOTE 演算法
- 欠採樣 (Undersampling)：減少多數族群的樣本比喻：班級裡男女生比例懸殊，要讓討論更公平，可以多找幾位女生加入（過採樣）或請部分男生輪流休息（欠採樣）。
重新加權 (Re-weighting)：為少數族群的樣本在訓練時給予更高的損失權重，讓模型更重視這些樣本。
資料增強 (Data Augmentation)：對少數族群的樣本進行變換（翻轉、旋轉、同義詞替換等）生成更多樣本。
演算法層面的公平性約束：在模型訓練過程中直接加入公平性限制條件。
IBM AI Fairness 360 (AIF360)：IBM 開源的公平性工具包，提供超過 70 種偏誤指標和 10 種緩解演算法，支援訓練前 (pre-processing)、訓練中 (in-processing)、訓練後 (post-processing) 三個階段的偏誤處理。

考試重點：IBM AI Fairness 360 是目前最完整的開源 AI 公平性工具包。記住它的三個干預時機：pre-processing（處理資料）、in-processing（調整訓練過程）、post-processing（修正預測結果）。

三、關鍵名詞中英對照

中文	英文	補充說明
資料標註	Data Annotation	為原始資料加上標籤的過程
邊框標註	Bounding Box	用矩形框標出物件位置
語意分割	Semantic Segmentation	像素級別的類別標記
命名實體識別	Named Entity Recognition (NER)	識別文字中的人名、地名等
弱標註	Weak Labeling / Weak Supervision	用規則自動生成帶雜訊的標籤
主動學習	Active Learning	模型主動選擇最有價值的標註樣本
樣本偏誤	Sample Bias	資料不代表真實分布
標籤偏誤	Label Bias	標註者偏見導致的標籤錯誤
測量偏誤	Measurement Bias	測量工具或方法的系統性誤差
遺漏偏誤	Omission Bias	重要族群被系統性排除
確認偏誤	Confirmation Bias	傾向強化既有假設的偏誤
差異影響比率	Disparate Impact Ratio	衡量族群間結果差異的公平性指標
過採樣	Oversampling	增加少數族群樣本數量
欠採樣	Undersampling	減少多數族群樣本數量
重新加權	Re-weighting	調整不同樣本的訓練權重

四、考試重點提示

考試重點：語意分割 vs 實例分割——前者只分「類別」，後者還能區分同類中的「個體」。

考試重點：主動學習 (Active Learning) 的核心精神是「讓模型選最不確定的樣本去標註」，目的是提升標註效率，不是提升模型準確率本身。

考試重點：五大偏誤類型要能記住並舉例：樣本偏誤（資料不代表母體）、標籤偏誤（標註者偏見）、測量偏誤（工具誤差）、遺漏偏誤（族群被排除）、確認偏誤（強化既有觀念）。

考試重點：差異影響比率 (Disparate Impact Ratio) ≥ 0.8 為及格線（80% Rule）。計算方式：弱勢族群正面結果率 ÷ 優勢族群正面結果率。

考試重點：IBM AI Fairness 360 (AIF360) 支援三個干預時機：pre-processing、in-processing、post-processing。這三個詞可能直接出現在選項中。

隨堂小測驗

1. 下列哪一種標註任務，會為影像中的「每一個像素」指定其所屬類別？

A. 影像分類 (Image Classification) B. 邊框標註 (Bounding Box) C. 語意分割 (Semantic Segmentation) D. 命名實體識別 (NER)

2. 某公司想以最少的人工標註成本訓練出最好的模型，應優先採用哪種標註策略？

A. 全人工逐筆標註 B. 純眾包標註 C. 主動學習 (Active Learning) D. 測量偏誤修正

3. 某求職平台訓練了一個履歷篩選 AI，發現該模型對男性求職者的通過率明顯高於女性。計算差異影響比率後得到 0.65，這代表什麼？

A. 模型公平，0.65 接近中間值 B. 模型存在偏誤，因為 0.65 低於 0.8 的及格線 C. 需要增加更多男性資料 D. 模型準確率不足 65%

4. 研究人員只從有固定回診習慣的病患收集健康資料，來訓練一個「全民健康預測模型」。這最可能導致哪種偏誤？

A. 確認偏誤 (Confirmation Bias) B. 測量偏誤 (Measurement Bias) C. 遺漏偏誤 (Omission Bias) D. 標籤偏誤 (Label Bias)

5. IBM AI Fairness 360 (AIF360) 支援在哪三個階段介入偏誤緩解？

A. 資料收集、模型訓練、模型部署 B. Pre-processing、In-processing、Post-processing C. 標註前、標註中、標註後 D. 特徵工程、超參數調整、模型評估

解答與解析

題號	答案	解析
1	C	語意分割 (Semantic Segmentation) 的定義就是對每個像素進行類別標記。影像分類只輸出整張圖的標籤；邊框標註只畫矩形框；NER 是文字任務，與影像無關。
2	C	主動學習 (Active Learning) 的核心就是讓模型主動選出「最有學習價值」的樣本，以最少的標註量達到最大的效益。這是它相對於全量人工標註和純眾包的核心優勢。
3	B	差異影響比率 0.65 < 0.8，不符合「四分之三原則 (80% Rule)」，代表模型對女性族群存在顯著的不公平偏誤。這是典型的偏誤告警場景。
4	C	只收錄「有回診習慣」的病患，等同於系統性地排除了「不常就醫」的族群，這正是遺漏偏誤 (Omission Bias) 的定義——重要的族群在資料中缺席。
5	B	AIF360 明確支援三個干預時機：pre-processing（在訓練前處理資料）、in-processing（在訓練過程中加入公平性約束）、post-processing（在預測後調整輸出結果）。這三個詞是標準術語，務必記住原文。