
產出多了 474%,最慢的還是我。
Frank Liao
Faros AI 追蹤了 1,255 個工程團隊、一萬多名工程師。日常開發大量用 AI 輔助的團隊,完成的任務多了 21%,合併的改動多了 98%,可是審核時間也多了 91%,公司層級的成果幾乎沒動(報告)。
AI 越快,事情越往人身上堆。
我的 AI 團隊也走到這一步。白天的產出拉上來了,每件事最後還是要等我看、等我決定。團隊一天能做多少,取決於我一天在幾個小時。
要再往上,我多待幾個小時沒有用。團隊得在我不在的時候,自己把事情做完。風險、價值、成本,三件事還是握在我手上。
我開始讓團隊在我下班後自己做事。
有一天早上,事情做完了,團隊還順手做了幾件我沒交代的,改到不該碰的檔案。另一天早上,檢查全部通過,做出來的東西卻不能用。第三天,它整晚困在一個只有人能回答的問題上。能回答的只有我,但那時我無法即時給予回應。
每天早上都一樣,晚上做的事全部回到我這裡。我先花半小時把昨晚發生什麼讀回來,再自己全部檢查一遍,才敢決定要不要採用任何一個改動。
三種失敗,剛好就是那三件事。改到不該碰的,是風險;做完不能用,是價值;錢花出去卻換不到進度,是成本。
讓 AI 自己動手做事,業界叫 AI 代理。Gartner 預估,到 2027 年底,超過四成的 AI 代理專案會被取消,原因有三個:風險控管不足、價值說不清楚、成本失控(報導)。
同一份預測還說,到 2028 年,至少 15% 的日常工作決策會由 AI 代理自己做,2024 年幾乎是零。而號稱做 AI 代理的廠商有好幾千家,Gartner 認為真的做得到的,大約只有 130 家。
決策會一路往 AI 身上移。主管要想的,是哪些決定可以放給它,放了之後怎麼知道沒出事,出了事,錢和損害停在哪裡。
現階段,日常工作的實作,已經 100% 由 AI 代理完成。接下來,讓 AI 代理在決策上的有效佔比提高,並且讓這 100% 的實作產能,成為一條可被完全信任的流水線。
九月,我名下所有專案平均每天合併 7.5 張合併請求;十月前 20 天,每天 33 張,增加了 339%。Faros 那份報告裡,大量用 AI 輔助的開發團隊,多完成了 21% 的任務。
增加的部分大多在我不在的時候。10 月 5 日到 18 日這兩週的 525 張裡,291 張落在早上 9 點前或晚上 6 點後,另外 106 張在週末和假日的白天,合計 397 張,佔 76%。
程式只是看得到的那一段。十月我把 SRE 和文件整理也放手交給團隊,後半夜它自己修基建、自己寫維運紀錄。這些工作不會出現在合併列車裡,用工作紀錄來算,九月每天 1.5 份,十月每天 18.6 份。疊在程式上,九月每天 9.0 項,十月每天 51.5 項,整體增加了 474%。
日常工作的實作,我們早就 100% 交給 AI 代理。可是只做到這一步,天花板很低:上班族用生成式 AI,平均省下 5.4% 的工時(聖路易聯準銀行);客服用 AI 輔助,每小時多解決 14% 的問題(NBER);工程師用 AI 寫程式,多完成 21% 的任務。這些都是 AI 幫忙、人做決定。九月的我們也一樣,AI 動手,每一個決定還是等我。
十月,決策也交出去了。394 筆決策裡,248 筆由 AI 自己決定、事後寫進紀錄,佔 63%;再加上等我決定、AI 先照保守做法進行、到現在沒被推翻的,有效決策共 344 筆,佔 87%,九月是 0。產能從這裡換了一個維度:每天的總產出增加了 474%,而這個起點,是實作早就交給 AI 的九月。
數字證明了產能。要讓這些產能值得信任,風險、價值、成本三件事,各由一套機制管住。
AI 團隊依權責分成四層:決策、統籌、執行、檢查。執行層的角色會隨業務一直增加,但每一層能做什麼、不能做什麼都事先定義,誰加進來都一樣,任何一層都無法越權。
分層授權的意義,在於把信任從模型身上移到結構上。公司報帳就是這樣設計的:申請的人不能自己核准,核准的人不能自己付款,付款的人不能自己記帳。沒有人需要特別誠實,出錯或作弊都會在下一關被看見。AI 團隊照同一套規矩走:做事的不檢查自己,檢查的不動手,決策的不碰執行;權限往下授,證據往上交。我不需要相信任何一個模型夠聰明,只需要相信這個結構。
LEAD
OWNER
FRONTEND
BACKEND
AI
INFRA
QA
客人點餐不會說「煮好吃一點」,會說「小辣、不要香菜、少飯」。交給 AI 團隊的每件事也一樣,交接單要寫清楚目標、驗收條件、修改範圍、費用上限。驗收條件必須可量測、可判定,任何人檢查都會得到同一個結論。
光有標準還不夠。一道菜要穩定出餐,靠的是三道關卡:廚師的專業、出餐前的自我試味,以及主廚在出菜口逐項確認辣度、香菜、飯量。AI 團隊的自動把關,也是如此。
AI 很強,但還可以更強。模型的注意力有上限,Anthropic 把它叫做注意力預算:塞進去的東西越多,每一樣分到的注意力就越少,資訊也越容易被漏掉(來源)。模型原本會的東西存在模型裡,不佔注意力;佔注意力的,是每次對話塞進去的規矩和資料。通才要背著所有角色的規矩上工,專才只帶自己那一份。
所以每個角色都是量身訂做的。它有明確的身分和責任範圍,開工時只載入跟這個身分有關的技能,這一行的規矩和常犯的錯,也直接寫進角色裡。前端只帶前端的規矩,基建只帶基建的規矩,各自在獨立的對話裡工作,誰也不會把別人的東西帶進來。領域內的工作,系統不准派沒有身分的通用角色去做。
專才的效果有數字。Anthropic 的研究系統由一個主導模型帶多個專職的子代理,在內部評測上比單一模型高出 90.2%;代價是用量比一般對話多了大約 15 倍,所以只適合用在值得的事情上(來源)。
你說,這些知識通才原本沒有嗎?當然有。只是現在,它有機會慢慢變成你喜歡的樣子,更符合你工作上的流程和規範,並且是發自內心的、主動的。
自醒是當下的。會忘的事都改成了自動檢查,每個動作前後自動跑一次,沒通過就擋下來。檢查之前,先寫下預期的結果,查完再對照。晚上只有一條規則:每做一步就拿交接單檢查一次,沒通過或沒辦法檢查,就把原因記下來,然後停止。
自省是事後的。每段工作結束,挑出估得最不準的一件,寫一行反省,下次開工自動帶回最近五行。同一個問題出現第二次,就不再重做,直接改規則,下一張單自動套用。
自己檢查自己,總有看不到的地方,所以最後交給局外人。負責審核的是另一個模型,在乾淨的環境裡重新檢查;畫面則交給一個沒讀過需求的角色,只看畫面上的字從頭走一遍。
有了交接單,團隊會自己檢查自己做的東西。可是檢查本身也會騙人。我自己就寫過一條,連要測的東西名字打錯了,它還是回報通過。
所以現在每一個「通過」,都要證明兩件事:做對了,檢查會過;故意把它弄壞,檢查就要失敗。弄壞了還會過的檢查,等於沒在檢查,直接打回去。
再來是誰來檢查。做事的人檢查自己,會順著自己的想法走,看不到盲點。所以檢查交給另一個模型,在乾淨的環境裡、只照雙方事先講好的條件來查,不准自己加碼。
它抓到的第一個錯,是我的。我把範圍寫得比當初講好的還寬,它照我寫的去查,當然過不了。洞在我的交接單上,被它抓到,算它贏。
三輪抽查,7 件、20 條條件,真正漏掉的是 0。通過檢查、已經採用的 75 件裡,有 4 件是交出去之後才發現問題,約 5%。
最後一道才是我。早上我只讀一份報告,每條驗收條件標上通過或沒通過,附上證據。最上面是我一定要看的,停在哪、要我決定什麼;下面是可以直接採用的。
專才不是免費的。前面提到,Anthropic 的多代理系統,用量比一般對話多了約 15 倍;我的團隊也一樣,角色越多,每件事經手的 AI 就越多。所以每結案一件花多少錢,我天天看。
10/13 那一晚,每結案一件要 37 美元;隔天 10/14 降到 11,10/15 晚上再降到 6.3。同一種工作,交接單切得更小、寫得更清楚,團隊少走冤枉路。除了把交接單切小,把檢查拆成獨立的交接單也能省:只做驗收、不動手改的單,一件 1.2 美元,因為不用從頭弄懂整件事;這是另一種工作,所以圖上用虛線分開。
每張交接單都有費用上限。碰到上限先放慢,再停下,把做到哪、還差什麼寫進交接,往上報。
單張的上限只能保證錢不失控,保證不了錢花在對的地方。預算真正要管的是三件事:分給誰、留多少、什麼時候花。額度是一層一層切的。LEAD 先把一週的額度切成每天一份,留一點當緩衝;每天那一份,再照當天的排程分給各條線。
切好之後,LEAD 盯的是當天燒的速度。太快,先把那條線的上限減半,再不降就只准收尾;太慢,就把用不完的額度移給還在排隊的線。目標是當天結束前剛好用完。
LEAD 是我在管理職上的分身,等於一位專職的 PM 兼 COO。我平常負責的管理工作,現在由它每天執行:
LEAD 本身同樣受預算約束。我保留的,是方向,以及不可逆的決策。
以下幾個主題,會在後續文章中完整說明並實際演示:
一個月前,團隊一天能做多少,取決於我一天在幾個小時。現在實作全交出去了,決策也交出去八成多。
照 LEAD 找瓶頸的方法算,整條線最慢的那一站,現在是我。下一步要優化的,就是這一站。