編輯精選收錄 - Feb 19 2022
美國微軟內部人士談談Chat GPT
"因為微軟 CEO 想撥款買新機器給OpenAI 用，遭到很多利益相關的反對，尤其是 CFO 不給批，於是只好繞過CFO 抽調微軟原本用於研發的機器;這樣WebXT 人多，機器少，很多研發人員幹不了活，正好再裁了這些"多餘」的研發人員。後來的事情，大家都知道了"
作者：鹽一Lecter來源：知乎 chatgpt會取代程序員嗎？著作權歸作者所有。商業轉載請聯繫作者獲得授權，非商業轉載請注明出處。
作為美國微軟內部人士談談Chat GPT我去年在西雅圖微軟，而且就在負責開發Bing 後台一部分算法的WebXT 組，後來因為個人原因離職了，作為瞭解ChatGPT 和新Bing 部分內幕的底層碼農，以及GPT-3和Codex 的第一批公測用戶，我來談談對ChatGPT 的看法，
1.ChatGPT 的算法,包括自回歸語言模型
(OpenAI 從2017 年的GPT-1 搞到現在，迭代了3.5 代了)，還有強化學習的PPO 算法(還記得2018 年在TI 表演賽上擊敗OG 的Dota2 AI 嗎?就是用這個算法訓練的)，全都是已經一分成熟的公開算法，本身沒有任何秘密可言,但是這種超大規模訓練，並不止依靠算法本身，硬件和數據才是王道,純自然語言數據,網上公開的到處都是,也沒有什麼門檻.但是ChatGPT 有一個巨大的先發優勢，就是他通過搶先開始公測，收集了大量的用戶的使用數據，這是更加寶貴的數據，而這部分數據只有他們家有。只要ChatGPT 仍然是最好用的語言AI ，這個雪球只會越滾越大，越來越難追上。另外，為了防止ChatGPT 輸出有害信息，OpenAI 還花了大價錢去找印度和肯尼亞的外包公司標記了大量的有害文本，用來訓練模型不要輸出有害信息，這部分數據也是OpenAI 積澱了幾年築起的數據壁壘。總之，小公司根本做不了ChatGPT 這樣的工程凡是聲稱投資區區幾億就要做ChatGPT 這樣的AI 的，幾乎可以認為全是詐騙:真正有可能。做出類似產品的，在中國祇有BAT 這種擁有自主雲計算平台(市場價租機器做這個就等著破產吧)、且堂握大量用戶的互聯網公司，而且最好是和ChatGPT 錯位競爭，比如做中國可以正常聯網使用的中文模型:並且，其中最困難的部分其實是敏感詞屏蔽和有害信息過濾(ChatGPT 的屏蔽程度，在國內恐怕是不夠的，因為它仍然可能在用戶惡意誘導下說出不該說的東西)
2.再來簡單聊聊微軟。很多華人，都覺得微軟低效是因為印度人太多，尤其是因為印度人做了CEO。
但是這種言論是錯誤的，從ChatGPT 這件事中就能看出微軟現任CEO Satva Nadella 的眼界。首先，當時OpenAI 缺錢，且做出來的東西都是Dota2 AI 這種不能賺錢的東西，馬斯克都甩手不乾的時候，微軟仍在默默地投錢、給機器，去年我還在WebXT 組的時候就聽說CEO 有意向在Bing 用OpenAI 的新模型把我們嚇得不輕。後來就聽說WebXT 組信了好多項目，開了好多人，把幾乎所有機器都藉給OpenAI 了。因為 CEO 想撥款買新機器給OpenAI 用，遭到很多利益相關的反對，尤其是 CFO 不給批，於是只好繞過CFO 抽調微軟原本用於研發的機器;這樣WebXT 人多，機器少，很多研發人員幹不了活，正好再裁了這些"多餘」的研發人員。後來的事情，大家都知道了:這個OnenAl的「新模型」，它的名字叫做ChatGPT，而且火速上了Bing 。雖然我以前所在的WebXT 組是這個事件中的最大受害者，但是如果作為旁觀者，我的確十分佩服Satya Nadella 的眼界。
3.有人說，ChatGPT 會面臨Google 的競爭Google 的搜索引擎仍然是最好用的。
Google 的用戶是全世界最多的，Google 的自然語言AT 技術也是領先的，所以完全可以等Google 出競品，也能做得很好，所以不必唱衰Google。這裡的論據都是對的，但是最後一步論證"所以不必唱衰Google"這步，沒那麼簡單。
我看了最近一個Satva Nadella 的訪談他的大概意思是，ChatGPT 的技術，頭部科技公司遲早都會掌握，包括Google:但是ChatGPT 的推斷成本高昂，而且消耗的算力與用戶體驗高度正相關:而搜索引擎用戶粘度小，用戶永遠會去用體驗最好的那個;所以這會迫使所有科技公司搞軍備競賽，大幅推高搜索算法的成本，使得Google 賴以生存的搜索廠告業務再也無法躺著賺錢:但是微軟的營收卻更加多元化，因此受到的衝擊會更，卻能享受到Edge 瀏覽器、甚至Windows 系統市場份額增加的好處。很多人還在想第一層第二層，人家Satya 已經想到了第五層了。
說的直白一點，現在微軟就是開啟了大模型軍備競賽，想要卷死Google。當然這並不是"內捲」，畢竟用戶的使用體驗提升了。