跳至主要内容

生成式 AI 是什麼？

人工智慧 (AI) 與生成式 AI (Generative AI) 的定義​

  • AI 是一個目標：人工智慧並非單一技術，而是「讓機器展現智慧」的目標。由於每個人對智慧的想像不同，AI 難以有標準定義，論文中鮮少直接提及此詞彙。
  • 生成式 AI 的定義：明確定義為「機器產生複雜且有結構的物件」。
    • 結構化物件：包含文章（文字序列）、影像（像素組成）、語音（取樣點組成）。
    • 複雜度的意義：指可能性盡乎無法窮舉。
    • 範例：寫一篇 100 字的文章，排列組合約有 1030010^{300} 種可能性，遠超宇宙中原子的數量 (108010^{80})。機器必須從這近乎無窮的可能中找出合理組合。
structured-objectcomplex-meaning
結構化物件複雜的意義

生成與分類 (Classification) 的區別​

  • 分類 (Classification)：機器從有限的選項中做選擇。
    • 實例：垃圾郵件偵測（是/否）、影像辨識（貓/狗）。
  • 生成：機器需要具備「創造力」，意即機器能產生在訓練時從未看過的全新內容（如全新的文句）。

generative-vs-classification

技術架構：機器學習、深度學習與模型​

  • 機器學習 (Machine Learning)：一種手段，讓機器自動從資料中找出一個函式 (f(x)=yf(x)=y)。
    • 參數 (Parameter)：函式中的未知數（如 ax+bax+b 中的 aa 與 bb）。
    • 模型 (Model)：指一個「帶有大量未知參數的函式」。
    • 訓練 (Training)：把大量參數找出來的過程。
  • 深度學習 (Deep Learning)：機器學習的一種技術。當模型（函式）是以「類神經網路」表示且含有極大量參數時，即為深度學習。
  • Transformer：這是 ChatGPT 背後核心的類神經網路架構，參數高達數億個。
  • 彼此關係：AI 是目標，機器學習是手段，深度學習是技術，而生成式 AI 是目前主要透過深度學習達成的目標。

machine-learning

架構關係總結​

人工智慧（AI）是一個目標，並非單一技術。機器學習是達成該目標的手段，而深度學習則是目前最有效、最具規模的實作方式。

生成式人工智慧同樣是一種人工智慧的目標，其任務是讓機器產生「複雜且有結構的物件」。
在理論上，生成式 AI 不一定只能透過機器學習完成，但在實務上，現今主流的生成式 AI 幾乎都是建立在深度學習之上，因此常被畫在深度學習的框架之內，作為其最重要的應用之一。

generative-ai-1generative-ai-2
AI 是目標，ML 是手段，DL 是技術生成式 AI 多由深度學習實現

生成策略：文字接龍與自迴歸生成​

  • 核心精神：文字接龍：
    • 將困難的生成任務轉化為一系列的「分類問題」。機器每次只預測下一個字（Token），預測完後貼在句尾，重複此過程直到輸出「結束符號」。
    • 優勢：將無窮的生成可能轉化為從有限的常用字中（如三、四千個常用字）做選擇，使問題變得可解。 next-token-prediction
  • 自迴歸生成 (Autoregressive Generation, AR)：
    • 定義：把複雜物件拆解成較小單位，再按照某種固定的順序依序生成。
    • 應用：除了 ChatGPT 的文字生成，像素接龍（影像版 GPT）與聲音接龍（WavNet）也是 AR 策略的應用。 autoregressive-generation