第39章 關於ChatGPT的一些解讀中

請關閉瀏覽器的閱讀/暢讀/小說模式並且關閉廣告遮蔽過濾功能，避免出現內容無法顯示或者段落錯亂。

關於ChatGPT 1、ChatGPT：更智慧的 AI 對話互動工具 ChatGPT 是由 OpenAI 公司於 2022 年 11 月釋出的聊天機器人模型，可以透過對話形式實現互動，能夠回答連續問題，承認錯誤，質疑不正確的前提，並拒絕不合理的需求。ChatGPT 的對話互動可以實現普通聊天、資訊諮詢、撰寫詩詞作文、修改程式碼等，由於更類人的智慧化表現，ChatGPT 推出後受到廣泛關注，上線不到一週使用者量突破 100 萬。2023 年 1 月，微軟 CEO 表示計劃將 ChatGPT 等人工智慧工具整合到所有產品中，並作為平臺提供給其他企業使用。Buzzfeed 和亞馬遜也在探索 ChatGPT 應用場景。 GPT 引入新的模型訓練方法，AI 行業發展有望加速GPT透過Transformer為基礎的預訓練語言模型，此前已公佈GPT-1、GPT-2、GPT-3 三個模型，ChatGPT 是對 GPT-3 模型（又稱為 GPT-3.5）微調後開發出來的對話機器人。ChatGPT 引入了 RLHF（基於人類反饋的強化學習）方法， 方法分為三個步驟： 1）有監督地調優：預訓練的語言模型在少量已標註的資料上進行調優，以學習從給定的 prompt 列表生成輸出的有監督的策略（SFT 模型）；2）模擬人類偏好：標註者們對相對大量的 SFT 模型輸出進行投票，建立一個由比較資料組成的新資料集，訓練建立模型（RM）； 3）近端策略最佳化（PPO）：使用 RM 作為強化學習的最佳化目標，利用 PPO演算法微調 SFT 模型。我們認為，ChatGPT 的成功展示出 AI 大模型的應用潛力，新方法的引入有望加速 NLP 演算法及 AI 行業發展。 3、巨頭堅定投入，開啟 AI 新浪潮2023 年 1 月 18 日，微軟宣佈將於 3 月底前在全球裁員 1 萬人，約佔員工總數的 5%；1 月 23 日微軟在其官方部落格宣佈，已與 OpenAI 擴大合作伙伴關係，微軟將向 OpenAI 進行一項為期多年、價值數十億美元的投資，以加速其在人工智慧領域的技術突破，此前微軟已分別於 2019 年和 2021 年對OpenAI 進行投資1 月 20 日，谷歌母公司 Alphabet 宣佈將裁員約 1.2 萬人，佔該公司員工總數的 6%以上，同時谷歌 CEO 表示，公司將會進一步聚焦AI 技術核心業務的研發投入。我們認為，微軟、谷歌、亞馬遜等全球巨頭堅定投入 AI，展現出 AI 應用廣闊的發展前景，AI 行業有望開啟新發展浪潮。 Chat-GPT 的成功，是在前期大量堅實的工作基礎上實現的，不是橫空出世的技術跨越。這些進步主要來自數學層面上的最佳化帶來的結果匹配精準度提高，而並非演算法真正為 AI 帶來了創造性與完整的邏輯性，也不是能夠從訓練的資料中學習到新的知識。它在“解鎖”（unlock）和挖掘 GPT3 學到的海量資料中的知識和能力，但這些僅透過快速地In-context 的方式較難獲得。InstuctGPT 找到了一種面向主觀任務來挖掘 GPT3 強大語言能力的方式。因此從這樣的底層技術邏輯出發，我們能迅速找到中短期內適合 Chat-GPT的產業化方向：一個真正全方位的智慧內容生成助手。 Chat-GPT 的成功證明了兩點：1）單純擴大模型引數並非唯一出路；2）讓模型再造定期開放給大眾測試並收集人類反饋資料更有利於模型迭代。之前兩個階段，人工智慧的進展更多體現在基於規模的技術突破，如 2015-2020 年，用於模型訓練的計算量增長了 6 個數量級，同時隨著規模的增大，輸出結果的質量亦迎來質變，在語言文字、書寫、影象識別等領域皆表現出超越人類的水平。但在使用層面，由於所需要的算力巨大，往往需要特殊的 GPU 配置，同時訓練過程相對封閉，大多數人並無法使用，因此技術無法被多數人觸達。而人工智慧的第三個階段，隨著更新的技術、更優的演算法、更大的模型出現，算力的成本越來越低，使得模型訓練與執行所需成本持續下降，而演算法從封閉測試到開放測試、開源的逐漸普及，亦降低了使用門檻。由此人工智慧無論在經濟性與可獲得性上都達到了支援普及的水平。 注:（免責申明）本文僅為個人筆記，內含個股僅僅是作為分析參考，不能作為投資決策的依據，不構成任何建議，據此入市風險自擔。股市有風險，投資需謹慎！ 知音