本文來自“干貨分享：“人工智能+”引爆新質生產力革命（2024）”，傳統意義上的AI模型，主要分為判別式模型（Discriminative Models）和生成式模型（Generative Models）。
判別式模型（Discriminative Models）：用于解決回歸或分類任務，重點在于區分不同類別的數據。與生成模型不同，判別模型不生成新數據，而是專注于學習輸入特征與輸出標簽之間的關系，以便準確地進行分類或預測。判別式模型在各種應用中廣泛使用，特別是在需要分類或回歸任務的場景中，例如：BERT（用于各種NLP任務）、金融風險評估的信用評分系統（如FICO）、癌癥檢測系統等等。
而生成式模型（Generative Models）：是生成式AI背后的技術，是一類能學習和模仿數據分布的模型，它們能夠創建看起來與訓練數據相當相似的新數據樣本。舉個例子，如果我們有一個人臉生成模型，它可以生成看起來像真人臉的圖片，而這些圖片與模型用來訓練的真實人臉圖片很相似，甚至很難區分哪個是生成的，哪個是真實的。生成式模型已被廣泛應用于各種領域，特別是在需要生成新數據樣本的任務中，例如：GPT、DALL-E（圖像生成）、DeepArt和Prisma（圖像風格轉換）等等。
大模型是“大算力+強算法”結合的產物。大模型通常是在大規模無標注數據上進行訓練，學習出一種特征和規則。基于大模型進行應用開發時，將大模型進行微調，如在下游特定任務上的小規模有標注數據進行二次訓練，或者不進行微調，就可以完成多個應用場景的任務。
從參數規模上看，AI大模型先后經歷了預訓練模型、大規模預訓練模型、超大規模預訓練模型三個階段，參數量實現了從億級到百萬億級的突破。從模態支持上看，AI大模型從支持圖片、圖像、文本、語音單一模態下的單一任務，逐漸發展為支持多種模態下的多種任務
人工智能領域中的一些重要基礎技術概念如下：
（1）神經網絡技術（Neural Network Technology）：是一種模仿生物神經系統結構和功能的計算方法。神經網絡的結構通常分為輸入層、隱藏層和輸出層。輸入層接受原始數據，隱藏層負責數據的特征提取和處理，輸出層生成預測結果。神經網絡技術可以處理復雜數據和任務，已在人工智能和機器學習領域中廣泛應用。
（2）神經符號推理（Neuro-Symbolic Reasoning）結合了神經網絡和符號推理的混合方法，利用兩種技術的優勢來解決復雜的推理和學習任務。這種方法在人工智能領域具有廣泛的應用前景，因為它能夠處理復雜的數據和關系，同時保留符號邏輯的可解釋性和規則性。
（3）尺度定律（Scaling Law）是指在訓練模型時，模型性能隨模型規模（如參數數量）、訓練數據量和計算資源的增加而變化的規律。這些定律幫助研究人員和工程師更好地理解和預測擴展模型時的效果和需求。在GPT-3的開發過程中，OpenAI遵循了尺度定律，通過大幅增加模型參數數量（達到1750億），顯著提高了模型的自然語言處理能力。而摩爾定律（Moore's Law）應用于半導體和計算機硬件領域，具體說的是當價格不變時，集成電路上可容納的晶體管數目，每隔18個月便會增加一倍，意味著性能也將提升一倍。兩個定律應用領域不同，但都體現了技術進步在各自領域內的驅動力。
（4）自然語言處理技術（Natural Language Processing，NLP）：包括詞法分析、句法分析、語義理解等。這些技術幫助模型更好地理解和生成自然語言文本，使得生成的文本更加準確和語義豐富。
（5）大規模數據集（Dataset）：海量的高質量數據是訓練生成式 AI 模型的關鍵。這些數據集包含豐富的語言知識和模式，能夠幫助模型學習到更好的表示和生成能力。
（ 6）無監督學習算法（Unsupervised Learning）：能夠從數據中自動發現模式和特征，無需人工標記的監督信息。這對于生成式AI 模型的訓練至關重要，可以使模型從大量未標記的數據中學習到有用的知識。
（7）強化學習（Reinforcement Learning，RL）是一種機器學習方法，用于訓練模型做出決策，以實現最佳結果。通過反復試錯和獎懲制度，與環境交互來學習最優策略，有助于實現目標的軟件操作會得到加強，而偏離目標的操作將被忽略，從而在不同狀態下選擇最佳處理路徑以獲得最大化預期回報。強化學習廣泛應用于機器人控制、游戲AI、推薦系統等領域。例如，著名的AlphaGo在訓練過程中結合了強化學習策略，以尋找最佳落子策略。
（8）強化學習與人類反饋（Reinforcement Learning with Human Feedback, RLHF）結合強化學習的自動學習能力和人類的反饋，通過人類反饋指導學習的過程，顯著加速學習速度，提高性能及安全性。強化學習與AI反饋（Reinforcement Learning with AI?Feedback，RLAIF）是結合了強化學習的自動學習能力和AI模型的智能反饋。其智能體不僅從環境中獲得獎勵，還從另一個AI系統中獲得反饋。這種方法利用AI反饋來指導和改進智能體的學習過程，從而加速策略優化，提高整體性能。
（9）遷移學習（Transfer Learning）是一種機器學習方法，其中一個模型在某個任務上學到的知識被應用到另一個相關的任務中。通過這種方法，遷移學習能夠利用已有的經驗，提高新任務的學習效率和性能。尤其是在數據有限的情況下，遷移學習能夠顯著提升模型性能。
（10）聯邦學習（Federated Learning）是一種分布式機器學習方法，允許模型在多個設備或節點上訓練。這種方式能夠在保護數據隱私的前提下，利用分散的數據進行模型訓練，可以在全局模型的基礎上，進一步調整和優化個性化模型，滿足不同用戶的需求。
（11）生成對抗網絡（Generative Adversarial Networks, GAN）：GAN包括兩個部分：生成器和判別器。生成器嘗試生成與真實數據相似的假數據，而判別器嘗試區分真假數據。通過不斷的對抗訓練，生成器最終能夠生成較為逼真的數據。
（12）自回歸模型（Autoregressive Model）：通過前一個時刻的輸出來預測下一個時刻的輸出，廣泛應用于文本生成和音頻生成等領域。
（13）變分自編碼器（VAEs）：由編碼器和解碼器組成。編碼器將圖片信息壓縮成一個“潛在空間”。這就像畫家將復雜的畫面概括成簡單的草圖，這個草圖包含了圖片的關鍵要素，但省略了細節。解碼器根據這些草圖畫出新圖片。就像畫家根據草圖創作出一幅新畫。這些新畫看起來像是從原始圖片中生成的，但又是獨一無二的。在訓練過程中，VAE會不斷調整編碼器和解碼器，讓生成的圖片越來越逼真。
（14）優化算法（Algorithms Optimization）：用于訓練模型，調整模型參數以最小化損失函數，提高模型性能。常見的優化算法包括隨機梯度下降（Stochastic Gradient?Descent, SGD）和其變種，以及自適應學習率算法如Adam等。例如，隨機梯度下降是指不使用全量樣本計算當前的梯度，而是使用小批量(mini-batch)樣本來估計梯度，大大提高了效率。
（15）注意力機制（Attention）：使模型聚焦于輸入中的關鍵部分，提高處理效率和效果。注意力機制在生成式AI 中被廣泛應用，例如用于自然語言處理任務中的注意力機制模型（如Transformer）能夠有效處理長距離依賴關系和提升生成性能。
以上的這些技術在過去的20年中快速發展，直到2017年的歷史性的突破Transformer的到來，才有了生成式AI的基礎。而在2022年ChatGPT的橫空出世，進一步將生成式AI模型從需要大量標注數據而進行訓練的時代帶入到不需要標注數據而進行海量數據訓練的時代。
全球人工智能圖譜2024和中美 AI 實力對比
《半導體行業深度報告合集（2024）》
《70+篇半導體行業“研究框架”合集》
本號資料全部上傳至知識星球，更多內容請登錄智能計算芯知識（知識星球）星球下載全部資料。
免責申明：本號聚焦相關技術分享，內容觀點不代表本號立場，可追溯內容均注明來源，發布文章若存在版權等問題，請留言聯系刪除，謝謝。
溫馨提示：
請搜索“AI_Architect”或“掃碼”關注公眾號實時掌握深度技術分享，點擊“閱讀原文”獲取更多原創技術干貨。
