Gen AI浪潮下的一些想法
隨著ChatGPT的橫空出世,沒人能想到他將改變未來的人類技術發展格局,甚至讓資工系不再是「鐵飯碗」,Gen AI在商業上的成功,我認為其影響力之大,稱為「第五次工業革命」也不為過,但是當大家忙著鑽研AI怎麼用,媒體忙著販售焦慮時,有多少人想過,Gen AI到底帶來什麼影響?什麼才是Gen AI浪潮下值得思考的事情?
AI技術的本質
其實無論是LLM還是LMM,現在Gen AI本質上都是深度學習那套,也就是一堆數據轉成向量,然後一堆向量堆出好幾個節點模擬人類神經元,最後用機率與統計來計算從輸入經過中間數個節點到最後輸出,其本質上,Gen AI的答案可以說是「猜」出來的。
更不要說深度學習早在上世紀就出現,基於神經元的運作架構一度被貶入冷宮,直到10多年前才有足夠的算力支撐深度學習,並在AlphaGo的成功標誌著AI在科研領域的成熟,只是實際科研成熟應當要伴隨著商業投入,AlphaGo也絕對有足夠的聲音,只是出於各種原因,一路到2022年底由ChatGPT的誕生奪走了商業上的第一槍,也是這時候,AI才算正式走入到眾人眼中成為人人研究(和媒體拿來販售焦慮)的技術。
AI成熟的重要技術
商業和科研必然有著不同的鴻溝,AlphaGo可以只要展示「能力」,但是ChatGPT能成功,不單單是能力問題,而是當人類看到一個機器可以像人一樣對話時,好奇眼光的必然投入,微軟的Tay就是一個例子,只是這次不一樣的是,Tay後來成為只會高呼納粹的回聲桶,ChatGPT則隨著時間輸出越來越流暢,智商也越來越聰明,但同時又能說話越來越「悅耳」。
這其實代表兩件事,一來是對齊技術的成熟,二是學習能力的提升,除了監督式學習,我認為最值得提的,那就是RLHF。
RLHF簡單說,就是基於人類對於任務結果給予回饋,由人類告訴AI做得好還不好,以及怎麼做,怎麼改善,前台由使用者提供第一手的修正資料,在後台搭配微調可以做到簡化訓練成本,既解決數據來源又可簡化訓練成本,可謂是一石二鳥,但這項技術還是有些問題。
如果對齊沒做好,及時的RLHF只會創造更多Tay;即使對齊有做好,RLHF也會受限於大量的「人」的回饋,我舉個比較奇怪的例子,假如10個人有6個人喜歡被AI稱呼「雜魚」,那透過RLHF訓練下來AI在沒做個人化的情況下,AI會更傾向於稱呼使用者為「雜魚」。
而且RLHF最明顯的副作用早在ChatGPT甚至是最近的Gemini已經體現出來了:會過於討好人類,AI會傾向於輸出人類想聽的答案而不是正確答案,哪怕AI輸出的答案不正確。
但是沒有RLHF會更糟糕,除了訓練成本會大幅增加(使用者的回饋本身就是訓練資料),你能想像你前一秒跟AI說不要開玩笑,下一秒AI繼續跟你開玩笑嗎?沒有人喜歡不會說話的asshole(混蛋),只是RLHF隨著樣本的增加,對齊需要耗費的成本也是會指數增加,而且每個人的個性不同,你很難只靠RLHF就訓練出「頂尖」模型,但RLHF絕對是AI能落地的重要推手,不過副作用能解決多少,全憑科研人員本事。
大數據的勝利
如果說深度學習是突破電腦運算智力的上限,那大數據就是智力土壤,沒錯,前面說過RLHF本身依賴使用者回饋,使用者回饋就是一個數據,那早在5年前就盛行的大數據就說明這件事了,只是在當時人們以為數據會隨著算力成長後,數據量會指數型增長,但實際上後來數據量的成長並沒有隨著算力提升跟著大幅上升,AI還沒爆發人們手握一堆數據也無處施展。
如果你問科研人員,怎樣做出「聰明」的模型,在現在肯定會說訓練資料越多越好,但回到深度學習爆發前,當時的人會說「寫好符號規則」,規則/符號派AI學者的巔峰之作就是專家系統,專家系統的理想很美好,現實很骨感,如果你問2005最強消費級處理器,專家系統只要把Datasheet輸入後就能回答,但是人類通常會問的是「近期半年5000$最具CP值的電腦怎麼組」,這個問題除了具有時效性以外,還有大量的排列組合,因為人類有偏好(Intel/AMD),不同的貨物來源(二手vs全新,經銷vs平台),甚至還有可升級性可以考慮,這足以把專家系統幹冒煙了。
但是如果是透過大數據,只要數據夠多,經過適當的處理,就能排列出數個「熱門」選擇,最多人用的方案A你不喜歡那還有個備選方案B,因此Google在2009年發表的一篇文獻「The Unreasonable Effectiveness of Data」早就宣示著大數據的勝利,只是直到2022年後才得到驗證。
那數據要有價值除了這筆數據要有效以外,想要放大單一數據的價值更是要有獨家視角,或者是這筆數據記錄的是「邊緣案例Edge case」,邊緣案例可能需要極端的視角或狀況才能測試出來,但是決定邊緣案例能不能被解決,或者能不能產出獨家數據的,只有背後的「人」決定是否有這個能力。
人類的成長方式
其實人類科技能夠發展起來,好奇心與紀錄這兩件事情缺一不可,然而在Gen AI的到來後,人類聚在一起討論問題的次數越來越少,2026年初Stack Overflow的訪問次數跌至架設以來最低,與此同時,在Gen AI的成熟後,你有沒有注意到各行各業開始充斥著大量的「AI Slop」?用AI生成不修飾的空泛文章,用AI生成直接上架的音樂,Tralalero Tralala和Tung Tung Tung Sahur等這類迷因能火紅,我認為是剛好夠無釐頭,且這類作品的出現代表AI具備創作能力,但不是會說話的人就是詩人,AI能畫圖、做動畫不代表他們能做出好動畫,好圖片。
因此我想表達的是,Gen AI到來後,看著AI可以寫程式,甚至智商越來越強,人類的價值已經不是靠聰不聰明來定義了,而是靠有沒有整理觀點甚至持續輸出觀點來確保自己的價值,其一是能因為AI成功的人不完全是他有AI,而是他剛好利用AI放大自己的優勢,另一個原因是,AI只能用「已有」的知識做推理,目前仍舊只有人類具備在未知中探索的能力,而Gen AI一但碰到未知領域,準確度會大幅下降。
更不要說有的數據具備「時效性」,以上網為例,你在上世紀要上網,你肯定需要找美國軍方加入ARPANET,並且具備大量的電腦知識且能操作的地點還有限制,至於今天你只要跑去你家附近的ISP簽約付錢,你就有網路可以上網,有台手機 + SIM卡(或eSIM)你就可以走到哪連到哪。
結論
說到底,AI技術的成熟與爆發,我認為是發展上的必然結果,早在上世紀人類就早已開始追逐「創造智慧」這件事了,十年前AlphaGo也早就說明了這件事,只是Google遲遲沒有推出Gen AI產品所以討論有限以及這個震蕩得以滯後。
Gen AI的最終是讓知識變得跟網路一樣,成為生活的基礎建設,以前要學知識必須繳納高昂的學費受教還要看教授臉色,知識由少數人掌握,網路和搜尋引擎的成熟讓人們可以更容易搜尋到知識,而AI則更是讓知識可以先替人類消化過再給人類吸收,一但知識不由少數人壟斷後,人類能拉開差距的,就不是知識和聰明才智了,而是「觀點」和「經驗」。
AI無法替你體驗人生,更不能代替你思考,一但你把思考這件事丟給AI,你也就跟AI沒什麼兩樣了,與其害怕AI怎麼超越自己,不如想自己相比AI還有什麼?有哪些是只有自己才有的觀點?最後,「我思故我在」,不要停止思考,這才是人能拉開差距和建立獨特性的原因,沈迷於AI強大的假象只是換個形式的腳本小子。