今天這篇電子報,分享一個替朋友公司設計的人機協作 AI 作帳流程:不是把所有發票丟給 AI,而是設計一個風險可控、可解釋、可回退的決策系統。
Takeaways
1|盲目自動化,可能會把錯誤跑得更快
2|何時用 AI,何時不用 AI?由人類來決定
3|可規模化到不同企業的 AI 自動化腳本許多中小企和自由接案者,每月底皆需人工處理大量透過 Email 收到的發票、收據用於會計作帳。在開始前,我以為是一個「典型 Automation + AI 應用場景」題目!但實際做下去才發現...PDF 來自不同廠商、不同格式、甚至是掃描檔,一旦 AI 抽錯金額,後面整條帳都會錯,支出也會因 token 費用與 latency 直線上升。這時人工才介入,可能有理也說不清。
哪些情況該交給 AI?哪些必須交給專業?
這也是專案真正的起點。我把目標從「全自動」改成「人機協作(Human-in-the-Loop)」,在設計 AI 作帳流程時,決定什麼時候該讓 AI 停下來,交還給人類。
- 🤖 AI 角色:處理高頻、重複、非結構化工作
- 👩🏻 人類角色:負責低頻、關鍵、需要判斷的決策

如果想看更仔細的作帳流程,我用時序圖來呈現,每個 alt 皆是一個決策點~~

接下來跟大家分享詳細的說明執行步驟
Step 1|Input Control:資料清整
我從起點開始控管資料來源,目的不是自動化,而是降低後面決策的混亂度
- Gmail label(Company A / Company B / Company C...)
- 只抓 PDF 附件
- 儲存進指定 Google Drive
- 在檔案 description 標記 source:__company.name__

Step 2|Decision Layer:決定何時用 AI
我沒有直接呼叫 AI,而是先跑一個 decision function:
- 不是 PDF → skip
- 來源固定、版型穩定 → 規則或低成本路徑
- 檔案大、疑似掃描 → ai_ocr
- 其他文字型 PDF → ai_text
Step 3|結構化抽取,而不是 AI 說的算
我先到 GCP console 啟用 Google Drive API,接著準備好 LLM API key-value,我用 LLM + Structured Outputs(JSON Schema)且每個欄位都包含: value confidence (0~1) 來讓 Chatgpt 講清楚它的判斷結果。
而設計邏輯很簡單
- 任一欄位 confidence < 0.7 → Need Review
- 全部 ≥ 0.7 → Auto Approved
Step 4|人機協作的關鍵:Confidence
對應在在 Google Sheets 裡的呈現:
- Auto Approved:整列淡綠
- Need Review:整列淡紅(低信心欄位標淡黃)
用整列紅色來提示該筆有部分 Ai 可能辨識不準確的內容,而標黃來提示是哪個欄位。我們只需要看「被標黃的地方」去做檢驗,確認沒問題後再寫入 Google Sheets 即可大功告成。

商業價值
這套流程上線運行一個月後,帶來幾個明確且可量化的效果:
- 企業內部作帳時間大幅下降(約 60%)
- 人工 key-in 錯誤明顯降低
- 人類只需處理少數「AI 不確定」的情況
- 跨部門同仁對系統的信任度提升,因為他們能理解 AI 在做什麼
最重要的是,這不是一次性的自動化腳本,而是一個可規模化到不同企業的流程設計!完成這個專案後我更相信,當你能接受 AI 本來就不完美,產品反而會變得更可靠,也更容易被真正使用。這也是我現在在做 AI 相關產品時最重要的一個原則。
如果你也在思考:
- AI 要不要介入你的工作流程?
- 哪些地方該自動,哪些地方該保留人工?
歡迎一起交流,我很樂意分享更多實作上的取捨與踩坑經驗 😂