背景與意義AI 在復雜任務中的角色日益重要,但如何協作才能發(fā)揮最大價值?本文探索人與AI協作處理復雜任務的方式,怎樣合作的方式會更有效。 研究目標
一、實驗結果概覽對比兩種方式的測試結果,純AI自主模式在整體表現上優(yōu)于流程化控制,主要評判標準包括典型性、差異性、契合性和有效性。然而,純AI自主方式的輸出顆粒度較為粗糙,仍有優(yōu)化空間。 總結: 接下來分別分享下這個過程 二、方式一:流程化控制2.1 模型需求與選擇:本研究需要具備通用推理、聯網搜索能力的模型,備選方案包括 DS、千問、GPT。由于 Deepseek R1 不能聯網,且本次研究依賴最新產品數據,暫不測試。同時,千問的推理能力未達預期,最終選用 GPT(4o mini、o3 mini)。 2.2 流程主線我將這個過程分為了兩個階段,預熱和制作用戶畫像,同時通過關鍵節(jié)點的控制來進行流程的構建 預熱的目的
預熱結果: 結果基本達標,控制器中的關鍵節(jié)點問題都能回答上來,它可以做為用戶體驗專家來做接下來的任務 2.3 制作用戶畫像找到這個流程的關鍵節(jié)點,只對關鍵節(jié)點進行管控,以下分別從流程、產品了解、用戶群體的劃分、用戶畫像的坐標去做為節(jié)點控制 流程合理:整體流程架構正確,確保用戶畫像的生成邏輯連貫。 產品信息:AI 具備聯網能力,能獲取并整合最新產品數據。 用戶群體劃分:基礎分類較為全面,但仍需進一步優(yōu)化細分標準。 劃分維度:基于用戶需求和行為模式,設定了 4 個核心劃分維度。 畫像維度:基本覆蓋主要特征,但顆粒度仍可優(yōu)化。 畫像質量:當前生成的畫像相似度較高,缺乏足夠的差異化,未能充分展現更多典型用戶特征。 2.4 總結流程化控制過度干預 AI 生成過程,導致任務執(zhí)行零散、不連貫,影響結果質量。此外,這種方式容易出現過擬合,限制 AI 的靈活性,同時微調成本高,調整難度大。 三、方式二:純AI自主3.1 模型需求與選擇本研究需要具備 推理能力和聯網搜索功能的模型,備選方案是 Qwen2.5-Max,該模型是千問的最新推理模型,可以自主推理并完成任務,僅需提供清晰的需求描述,AI 即可規(guī)劃執(zhí)行。提示詞的精準度 是影響最終結果質量的關鍵因素。 3.2 提示詞對結果的影響用戶模型結果:整體分類清晰,但細分維度較為粗糙,部分畫像存在重疊。 用戶模型結果:分類相對合理,但畫像的定位較粗略。可將相關需求細化并融入提示詞,以提升生成質量。 通過兩個提示詞對比結果,只要提示詞夠精準,質量會更高。 過程甚至有圖表示意和屬性權重 3.2 總結在純AI自主模式下,推理模型可自主完成復雜任務,核心挑戰(zhàn)在于如何精準描述需求。提示詞的清晰度直接影響 AI 的理解和執(zhí)行效果,決定最終生成結果的質量。 四、研究啟發(fā)與AI協作的思考4.1 AI 在用戶模型生成中的表現
4.2 從節(jié)點控制到端到端優(yōu)化:AI協作模式的演變(1)節(jié)點式控制的局限
(2)端到端優(yōu)化 OpenAI 的 Deep Research采用端到端優(yōu)化思路,基于 o3 模型 強化 AI 對工具的使用能力,使其能夠自主拆解目標任務、執(zhí)行任務并動態(tài)調整策略、獨立使用工具進行分析和推理。 這一模式讓 AI 不再只是被動執(zhí)行,而是主動優(yōu)化任務流程,探索出更高效的解決方案。這也啟發(fā)我們重新思考 AI 在未來工作流中的角色定位 4.3 AI 時代的協作新思考
在流程化控制和純 AI 自主之間,我還探索了半控制的方式。這種方法在適度干預 AI 任務執(zhí)行的同時,仍然保留 AI 的自主推理能力,使其在效率與準確性之間找到平衡點。然而,本次文章的重點不在此,因此不作詳細展開。 實驗結果: 在相同的引導方式下,不同 AI 模型生成的用戶畫像趨于一致,均涵蓋 社交型、探索型、創(chuàng)作型、情感陪伴型 四大類別。相較于純流程化控制和完全自主方式,半控制方式的結果質量更高。 五、說明本次實驗并非嚴格的科學實驗,而是一次個人探索,未采用嚴謹的控制變量法。實驗過程中,提示詞的表達方式也會影響結果,因此結論具有一定的局限性。 我希望分享的重點在于:在大多數人無法完美編寫提示詞的情況下,流程化控制可能反而降低了最終結果的質量。 本文由@玄清 原創(chuàng)發(fā)布于人人都是產品經理,未經作者許可,禁止轉載。 題圖來自Unsplash,基于CC0協議。 該文觀點僅代表作者本人,人人都是產品經理平臺僅提供信息存儲空間服務。 |