如何運用你公司的專有知識來訓練生成式AI？

https://www.hbrtaiwan.com/article/22502/how-to-train-generative-ai-using-your-companys-data?utm_campaign=2311line&utm_medium=social&utm_source=line&utm_content=banner_1101&openExternalBrowser=1

• 對一家《財星》（Fortune）500大商業流程軟體供應商進行的研究發現，以生成式AI為基礎的顧客支援系統，提高了客服人員的生產力，也改善了留任率，顧客那邊也有更為正面的回饋意見。這套系統也提升了新進客服人員的學習速度與技能發展速度。
• 如果公司不是雲端供應商，客製化LLM內容的最常見方法，或許是透過提示來調整它。使用這種方法時，原始模型保持凍結狀態，人們是透過脈絡窗（context window）裡的提示來修改它，這些提示包含領域特有的知識。經過提示調整後，模型可以回答與該知識有關的問題。這種方法是3種方法中運算效率最高的，而且不需要大量資料來訓練模型熟悉一個新的內容領域。
• 摩根士丹利（Morgan Stanley）運用提示調整去訓練OpenAI的GPT-4模型，它使用的資料是一組精心編選的10萬份文件，其中包括重要的投資知識、一般商業知識和投資流程知識。目標是幫助公司的財務顧問，在他們為客戶提供諮詢顧問服務，遇到關鍵問題時，提供準確且易於取得的知識。
• 投資研究公司晨星（Morningstar）以生成式AI為基礎打造出來的研究工具Mo，就是使用提示調整和向量嵌入。它納入晨星超過10,000項的研究成果。晨星只花大約一個月的時間調整系統，就開放Mo給它的財務顧問和獨立投資人顧客使用。它甚至將Mo連接到一個數位化身，能夠說出Mo的回答。這種技術方法並不貴；投入使用的第一個月，Mo就回答了25,000個問題，每個問題的平均成本是0.02美元，總成本是3,000美元。
• 在晨星，內容創作者正在學習哪種內容適合Mo系統，以及哪種內容不適合。他們將自己創作的內容送入內容管理系統，這個內容直接進入向量資料庫，再由向量資料庫提供資料給OpenAI模型。
• 在摩根士丹利，不會有攸關生死的問題，但是極為準確地回答金融和投資問題，對公司、客戶和監管機構來說非常重要。在推出系統給任何使用者使用之前，它提供的答案都會經過人工審核員的仔細評估。然後由300名金融顧問花幾個月的時間試用這套系統。摩根士丹利持續評估的主要方法，是設定一組400個已知正確答案的「黃金問題」。系統每次有任何變動，員工就會用黃金問題去測試，看看是否出現任何「退步」，或答案變得較不準確。
• 有些特定行為，可能需要透過訓練或政策去灌輸，包括： 
• 知道系統可以提供哪些種類的內容； 
• 如何建立有效的提示； 
• 允許哪些種類的提示和對話，以及不允許哪些種類； 
• 如何請求在系統中加入額外的知識內容； 
• 與顧客及合作伙伴往來時，如何利用系統給出的回應； 
• 如何以實用且有效的方式創作新內容。