流程回放果汁機
輸入快照
{ "jev": { "intent": { "choice": "refund", "confidence": 0.97 }, "urgency": { "score": 0.43 }, "chargeback": { "noul": 0.04 } }, "order": { "amount": "129.00", "days_since_delivery": 1 }, "customer": { "refunds_90d": 0 } }
{"jev":{"intent":{"choice":"refund","confidence":0.97},"urgency":{"score":0.43},"chargeback":{"noul":0.04}},"order":{"amount":"129.00","days_since_delivery":1},"customer":{"refunds_90d":0}}結果碼AUTO_REFUND
輸出
{"amount":129,"jev_confidence":0.97,"priority":"normal"}Ordo 幫你做三件事
01
模型判斷,規則決定
Jev 這類模型讀懂客戶說的話,給出判斷。退不退錢、要不要人工看,和折扣、額度一樣寫在規則裡,業務同事也看得懂。
02
改之前先看影響
調一個門檻之前,先看清哪些決策會跟著變,變成了什麼。
03
改完馬上生效
規則更新後直接生效。業務系統不用改程式碼,也不用重新發版。
一個例子
一個寫死在程式碼裡的 0.85
客戶發來一段話,Jev 判斷這是退款請求,把握超過 0.85 就自動退錢。這個 0.85 通常寫死在程式碼裡,沒人看過,模型一升級,它的意思就變了。
放進 Ordo 之後,有人提議降到 0.80。測試全部通過,Ordo 把改動前後放在一起跑了一遍,發現 18 種情況會從「客服確認」變成「直接退款」。要不要這樣改,合併之前就能決定。
模型可以換,也可以升級。退款門檻一直留在 Ordo 裡,有測試,也有版本記錄。
自動退款門檻0.85→0.80
309 種情況裡,21 種結果會變
想退款,把握 0.84,訂單 129 元,昨天簽收
客服確認→直接退款LLM_DRAFT → AUTO_REFUND
想退款,把握 0.80,訂單 39.90 元,前天簽收
客服確認→直接退款LLM_DRAFT → AUTO_REFUND
其餘 288 種情況不變
| 追蹤 | 條件 | 輸出 | ||||||
|---|---|---|---|---|---|---|---|---|
| # | 追蹤 | INchoicestring $.jev.intent.choice | INconfidencenumber $.jev.intent.confidence | INamountnumber $.order.amount | INdays_since_deliverynumber $.order.days_since_delivery | INrefunds_90dnumber $.customer.refunds_90d | OUTdecisionstring decision | OUTreasonstring reason |
| 輸入 | 實際值 | refund | 0.97 | 129.00 | 1 | 0 | AUTO_REFUND | |
| 1 | 未命中 0 in [3, ∞) | *實際值: refund | *實際值: 0.97 | *實際值: 129.00 | *實際值: 1 | [3, ∞)實際值: 0 | HUMAN_REVIEW | repeat_refunds |
| 2 | 未命中 1 in (30, ∞) | *實際值: refund | *實際值: 0.97 | *實際值: 129.00 | (30, ∞)實際值: 1 | *實際值: 0 | HUMAN_REVIEW | outside_window |
| 3 | 命中 全部條件命中 | refund實際值: refund | [0.85, ∞)實際值: 0.97 | (-∞, 200]實際值: 129.00 | *實際值: 1 | *實際值: 0 | AUTO_REFUND | |
| 4 | 未命中 全部條件命中 | refund實際值: refund | [0.85, ∞)實際值: 0.97 | *實際值: 129.00 | *實際值: 1 | *實際值: 0 | HUMAN_REVIEW | amount |
| 5 | 未命中 全部條件命中 | refund實際值: refund | [0.6, ∞)實際值: 0.97 | *實際值: 129.00 | *實際值: 1 | *實際值: 0 | LLM_DRAFT | medium_confidence |
| 6 | 未命中 全部條件命中 | *實際值: refund | *實際值: 0.97 | *實際值: 129.00 | *實際值: 1 | *實際值: 0 | HUMAN_REVIEW | low_confidence |