Product Strategy · CPO Lens
三個 AI 提案的篩選框架
「這個東西該用 AI 嗎?」
過去三年,每個產品團隊都在問同一個問題。
PM 在意的是怎麼做。CPO 要回答的是該不該做、什麼時候做、做了之後賭注是什麼。
下面用一個我最近實際評估過的場景,把三個我每次篩 AI 提案的決策框架攤開:「內部知識庫 AI 問答」。任何一個框架沒過,我會先把提案打回去而不是給 GA 開發資源。
不是因為我保守,是因為 AI 產品的失敗成本,比傳統產品高出至少 3 倍(API 成本、資料治理、信任修補的代價都算進去)。
今天想聊的,是 CPO 篩 AI 提案的三個框架:
① 一個 AI 提案進門,CPO 該先問哪三個問題?
② API 成本曲線推演:DAU 翻 10 倍會破產嗎?
③ 信任修補成本,怎麼判斷一個 AI 功能值不值得做?
一個內部知識庫提案的評估現場
場景:某次 PM 來找我提案,希望給公司內部做一個 AI 知識庫問答系統。員工問問題,AI 從公司 Confluence 和 Notion 裡找答案。
我沒一條一條看 PRD 細節,先問了三個問題。每一個問題對應一個框架。下面拆解這三個框架。
三個框架快速對照
| 框架 | 什麼時候用 | 一個關鍵問題 | 提案不過的訊號 |
|---|---|---|---|
| 1. AI-能-該-願 三問 | 評估「我們要不要做這個 AI 功能」 | 使用者「願意」讓 AI 介入嗎? | 任一問答不出來 |
| 2. 成本曲線推演 | 評估「上線後三個月會不會破產」 | API 成本是線性還隨用量爆炸? | DAU 翻 10 倍就虧本 |
| 3. 信任修補成本 | 評估「失敗時的修補有多難」 | 一次嚴重錯誤,會不會讓人關掉整個產品? | 落在右上角的功能 |
框架一:AI-能-該-願 三問
不是所有問題都該丟 AI。在花一毛錢之前,問三個問題。
三問拆解
| 問題 | 怎麼驗證 | 不過的訊號 |
|---|---|---|
| AI 能做到嗎? | 用 PoC 跑 100 筆樣本看準確率 | 模型自己跑都做不到 70 分 |
| 該做嗎? | 確認這是「重複手工、出錯率不重要」的任務 | 任務每次都要創造、不能標準化 |
| 使用者願意讓 AI 介入嗎? | 訪談 10 個目標使用者 | 7 個以上說「我比較想自己問人」 |
三個都過才往下走。
套到這個內部知識庫提案
| 三問 | 我的回答 |
|---|---|
| AI 能做到嗎? | 跑了 50 筆典型問題的 PoC,70% 答得對,可接受 |
| 該做嗎? | 員工問重複問題、答案散在多處,是 AI 的甜蜜點 |
| 使用者願意嗎? | 訪談發現新人很願意(怕問人尷尬),老員工排斥(覺得不準) |
第三問出現分歧。提案調整:先針對新人入職前兩週的使用情境上線,老員工的高階問題先不做。 這個調整避免我們做一個沒人用的 all-in-one 助理。
啟示:使用者「能不能用」跟「願不願意用」是兩回事。後者只能靠訪談,不能靠想像。
框架二:成本曲線推演
AI 產品最容易被忽略的成本,就是API 成本曲線。
三個必算的數字
寫 PRD 時要算清楚:
- 單次呼叫的 token 消耗:input tokens × 模型輸入單價 + output tokens × 輸出單價
- 每個使用者每天呼叫幾次:平均、p95、惡意用戶上限
- 使用者數量規模:MAU 6 個月後預期會到多少
三個數字乘起來,得到月度 API 帳單。
重點不是現在多少,是 DAU 翻 10 倍時帳單會變多少
| 成長模式 | 風險程度 | 應對策略 |
|---|---|---|
| 線性成長 | 可控 | 加 rate limit 就夠 |
| 隨輸入長度平方成長 | 需注意 | 必須做摘要、分頁、上 cache |
| 隨使用者互動次數爆炸 | 高風險 | 重新設計架構,或用更小的模型 |
套到這個內部知識庫提案
公司 500 人,預估上線後每人每天問 2 次,平均輸入 200 token、輸出 500 token。
- 上線時:500 × 2 × 30 = 30,000 次/月,月帳單約 \$120
- 全公司活躍:500 × 5 × 30 = 75,000 次/月,月帳單約 \$300
- 海外分部加入後:1500 × 5 × 30 = 225,000 次/月,月帳單約 \$900
線性成長、可預測。但有一個風險:如果 RAG 把整個 Confluence 都當 context 拉進來,input tokens 會爆炸。
設計調整:限制 RAG retrieval 在 top-5 文件,total context 不超過 4K tokens。這個小設計把成本上限鎖死。
框架三:信任修補成本
每一次 AI 出錯,使用者對你的信任就被扣一點。扣到一定程度,他會直接關掉整個產品,不只是關掉這個功能。
信任修補矩陣
兩個軸:
- 出錯機率(10% / 1% / 0.1%)
- 一次出錯的傷害(不痛 / 不爽 / 真的損失 / 法律責任)
| 機率\傷害 | 不痛 | 不爽 | 真的損失 | 法律責任 |
|---|---|---|---|---|
| 10% | 可上線 | 可上線(要設計回饋) | 強制人類覆核 | 不適合做 |
| 1% | 可上線 | 可上線 | 強制覆核 | 強制覆核 + 法務 |
| 0.1% | 可上線 | 可上線 | 可上線(要監控) | 強制覆核 |
套到這個內部知識庫提案
員工問問題、AI 答錯,會發生什麼?
| 問題類型 | 機率 | 傷害 | 落在哪 |
|---|---|---|---|
| 茶水間咖啡機怎麼用 | 高 | 低 | 左上 |
| 報帳流程是什麼 | 中 | 中 | 中間 |
| 客戶資料保留多久 | 中 | 高(法規) | 右中 |
| 員工股票歸屬時間 | 低 | 高 | 右中 |
法規類問題落在「右中」,需要強制顯示「請以 HR 公告為準」並附上原文連結。這一條設計直接把潛在的信任修補成本降下來。
一個讓我印象深刻的案例
幾年前一家公司上線了「AI 自動回信」功能。系統根據郵件內容草擬回信,使用者按「送出」前可看。
設計者以為:「使用者會看過再送出 = 沒有風險」。
實際情況:使用者跑久了會點 review 變鬆,95% 直接送出。有一次 AI 把客戶的姓氏搞錯(張先生變成王先生),被使用者送出去後客戶大怒,把案子取消。一次出錯造成的業務損失 50 萬。
事後檢討後改了三件事:
- AI 一律先草稿,禁止直接送出
- 改名字、改數字、改日期的部分,強制 highlight
- 監控「使用者編輯 AI 草稿的字數」,超過 30% 代表這類郵件 AI 做不好,下架
啟示:信任修補不是上線一刻評估,是要設計長期觀察的機制。使用者會習慣,AI 會漂移,這兩件事撞在一起就是事故。
反過來看:篩太兇也有要留意的地方
到這裡你大概看到一個態度:問三個問題、算清楚帳、評估修補成本。任一條不過就先打回。
但我觀察到一些 CPO 把這套用到極致,三個月內篩掉公司所有 AI 提案,最後團隊覺得「跟你提案沒意義」,連有潛力的方向也沒人帶上來。
| 該嚴格篩的 | 該寬鬆放行的 |
|---|---|
| 涉及高金額、法規、健康的功能 | 內部生產力工具、小範圍實驗 |
| 大規模上線到全公司或外部用戶 | 一個部門 10 人試用的 PoC |
| 失敗會傷品牌的功能 | 失敗只傷自己一週時間的小實驗 |
篩選是為了把資源放在對的方向,不是為了把所有方向都篩掉。 一些小實驗該放行,給團隊空間嘗試,這樣團隊才會持續帶有潛力的提案上來。
漂亮的 CPO 不是「拒絕最多提案」的人,是讓團隊持續提出值得做的提案的人。
寫在最後
PM 的本能是想做更多功能。CPO 的工作是幫團隊砍掉 90% 不該做的事,把資源集中在那 10% 真的會贏的方向上。
AI 時代加倍如此。模型每三個月一代,工具每週一個。能拒絕的提案,比能做的提案更稀缺。
下次 PM 來找你提 AI 提案,你不用一條條看細節,先問三個問題:
- 三問都答得出來嗎?特別是「願」
- 帳單算過沒?DAU 翻 10 倍會破產嗎?
- 信任修補成本落在哪?右上角的功能先別做
15 分鐘評完一個提案。這就是 CPO 該做的事。
你的時間是公司最稀缺的資源。把它花在「該不該做」上,比花在「怎麼做」上,槓桿大 100 倍。
你目前負責的產品線,有沒有一個 AI 提案,用這三個框架跑一次會被擋下?留言告訴我。
如果這篇對你有幫助,歡迎追蹤這份 Newsletter。每兩週一篇 AI PM 實戰筆記,主題涵蓋產品策略、跨職能合作、與 AI 導入的真實節奏。
#AIPM #CPO #ProductStrategy #AI產品策略 #ProductManagement #決策框架 #職涯成長