1.《DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning》

概述：

該論文提出了一種通過純強化學(xué)習(xí)（RL）自主激發(fā)大語言模型（LLM）推理能力的方法，結(jié)合群體相對策略優(yōu)化（GRPO）算法和雙階段訓(xùn)練策略（推理導(dǎo)向RL與通用對齊RL），顯著提升了模型在數(shù)學(xué)、編程等結(jié)構(gòu)化任務(wù)中的性能。實驗顯示，其Pass@1準(zhǔn)確率在AIME 2024任務(wù)中達79.8%，推理成本僅為同類模型的1/30。

創(chuàng)新點：

· GRPO算法：替代傳統(tǒng)PPO，通過組內(nèi)獎勵對比優(yōu)化策略，無需獨立價值模型，降低計算開銷28。

· 冷啟動+多階段RL：結(jié)合少量高質(zhì)量推理鏈數(shù)據(jù)微調(diào)，規(guī)范輸出格式（如標(biāo)簽），提升可讀性與任務(wù)適應(yīng)性2。

· 蒸餾技術(shù)：將80萬條推理數(shù)據(jù)用于小模型微調(diào)，7B模型在數(shù)學(xué)任務(wù)中超越32B基線模型，實現(xiàn)高效推理能力遷移210。

2.《DeepSeek-V3 Technical Report》

概述：

該技術(shù)報告介紹了DeepSeek-V3的混合專家（MoE）架構(gòu)，包含671B總參數(shù)（每個Token激活37B），采用多頭隱注意力（MLA）和無輔助損失的負(fù)載平衡策略，預(yù)訓(xùn)練14.8萬億Token。其在MATH-500任務(wù)中準(zhǔn)確率達97.3%，訓(xùn)練成本僅為Llama 3系列的1/15，性能對標(biāo)GPT-4o。

創(chuàng)新點：

· MLA與DeepSeekMoE：提升推理效率與經(jīng)濟性，支持128K長上下文處理69。

· 多Token預(yù)測（MTP）：擴展預(yù)測范圍至多個未來Token，增強數(shù)據(jù)效率和表征預(yù)規(guī)劃能力6。

· 低成本訓(xùn)練優(yōu)化：通過FP8混合精度訓(xùn)練和工程優(yōu)化，每萬億Token訓(xùn)練僅需18萬H800 GPU小時，顯著降低資源消耗。

3.《DeepSeek-R1-Zero: Self-Evolving Reasoning via Pure Reinforcement Learning》

  MoE大模型架構(gòu)核心就是通過動態(tài)路由機制將輸入數(shù)據(jù)分配到不同的子網(wǎng)絡(luò)（或者說專家）進行處理每次應(yīng)用的時候只會激活部分的專家這樣就可以提高計算的效率降低訓(xùn)練和推理的成本。DeepSeek MoE采用動態(tài)專家激活與參數(shù)高效利用，無輔助損失負(fù)載均衡，模塊化可擴展架構(gòu)，F(xiàn)P8低精度訓(xùn)練與硬件協(xié)同優(yōu)化等創(chuàng)新技術(shù)，實現(xiàn)了“讓正確的專家完成正確的合作”。這進一步解釋了6700億參數(shù)中DeepSeek V3只需要激活370億參數(shù)的原因所在。

  MLA (Multi-Head Latent Attention) 多頭潛在注意力是DeepSeek在V3版本架構(gòu)上的創(chuàng)新，實現(xiàn)優(yōu)化顯存與計算效率，通過低秩鍵值聯(lián)合壓縮（Low-rank Key-Value Joint Compression）和潛在變量建模，減少推理時的KV緩存占用，同時保持或提升模型性能，解決了傳統(tǒng)MHA (Multi-Head Attention) 多頭注意力架構(gòu)，因并行多個注意力頭捕捉輸入序列的不同關(guān)聯(lián)造成的顯存占用高、長序列計算效率低的問題。以編輯雜志為例，形象化的描述MLA和MHA的核心原理以及MLA的創(chuàng)新所在。如圖2所描述，基于MHA的普通模型：每個欄目的寫作需要所有編輯同時參與，每個人都要記住整本書的情節(jié)（存儲所有KV緩存），導(dǎo)致效率低下。MLA模型：主編先提煉出每個欄目的領(lǐng)域（潛在向量），然后根據(jù)當(dāng)前欄目的領(lǐng)域（如物理、航空航天）只調(diào)用相關(guān)領(lǐng)域的編輯（專家），其他人休息。這樣既節(jié)省時間，又保證內(nèi)容質(zhì)量。

DeepSeek R1 基于群體相對策略優(yōu)化（GRPO）的強化學(xué)習(xí)架構(gòu)，引領(lǐng)逆向創(chuàng)新風(fēng)向

  DeepSeek技術(shù)突破的標(biāo)志性成果當(dāng)屬其推理模型雙星——DeepSeek-R1-Zero與DeepSeek-R1，這兩大模型的問世首次構(gòu)建起與OpenAI o1推理體系的技術(shù)抗衡能力。在R1系列面世前，OpenAI的o1長期占據(jù)推理模型賽道的壟斷地位。DeepSeek實現(xiàn)"破圈傳播"的核心創(chuàng)新體現(xiàn)在雙重維度：顯性交互層面，R1模型不僅輸出最終結(jié)果，更首創(chuàng)"思維過程可視化"機制，將隱式推理鏈條轉(zhuǎn)化為可解釋的逐步推導(dǎo)路徑；技術(shù)底層層面，其突破性在于構(gòu)建了完全脫離人類反饋的強化學(xué)習(xí)訓(xùn)練范式。值得注意的是，R1的技術(shù)演進始自其前身R1-Zero，研發(fā)團隊在該原型階段實施了極具風(fēng)險的技術(shù)驗證：采用純強化學(xué)習(xí)框架，摒棄監(jiān)督微調(diào)環(huán)節(jié)，直接探索大模型在零人工標(biāo)注數(shù)據(jù)環(huán)境下自主演化推理能力的可能性。這項被稱為"無監(jiān)督認(rèn)知覺醒"的實驗，最終驗證了語言模型通過自主探索-利用機制發(fā)展出復(fù)雜推理能力的可行性。如圖3所示，DeepSeek R1研究論文中展示的自進化強化學(xué)習(xí)架構(gòu)示意圖，其技術(shù)框架以"環(huán)境交互-策略內(nèi)生-獎勵自洽"三重機制為理論根基，重點論證了無需人類反饋的強化學(xué)習(xí)范式作為系統(tǒng)核心支柱的可行性。

  從技術(shù)演進脈絡(luò)分析，GRPO的創(chuàng)新性體現(xiàn)為基于PPO范式的架構(gòu)重構(gòu)而非理論顛覆，其技術(shù)路徑的連續(xù)性表現(xiàn)在兩個維度：其一，繼承策略梯度法的參數(shù)空間優(yōu)化內(nèi)核，保留策略模型與環(huán)境交互的馬爾可夫決策過程建模框架；其二，將PPO的顯式優(yōu)勢估計-策略更新分離機制，轉(zhuǎn)化為基于群體采樣的隱式策略評估-改進循環(huán)，通過算法組件重組實現(xiàn)計算流重構(gòu)。盡管該方案因去除價值模型引發(fā)"策略退化風(fēng)險"的技術(shù)爭議，但DeepSeek通過三階技術(shù)補償機制完成創(chuàng)新閉環(huán)：①采用動態(tài)過程監(jiān)督獎勵塑形，在生成長文本時實施多粒度即時反饋；②構(gòu)建隱式課程學(xué)習(xí)機制，通過組內(nèi)輸出質(zhì)量分布自動調(diào)節(jié)探索-利用平衡；③設(shè)計計算最優(yōu)性驅(qū)動的策略熵約束，在降低方差的同時維持策略多樣性。這種逆向工程創(chuàng)新思維本質(zhì)上是以大語言模型訓(xùn)練的現(xiàn)實算力約束為先驗條件，通過結(jié)構(gòu)簡化→計算加速→數(shù)據(jù)通量提升→策略隱性增強的鏈?zhǔn)椒磻?yīng)，在數(shù)學(xué)定理證明等復(fù)雜推理任務(wù)中實現(xiàn)百倍級訓(xùn)練速度提升，驗證了"參數(shù)效率優(yōu)先于架構(gòu)完備性"的技術(shù)假設(shè)。

總結(jié)：

  在生成式AI技術(shù)范式重構(gòu)期，DeepSeek提出的逆向漸進式創(chuàng)新架構(gòu)開創(chuàng)了系統(tǒng)級優(yōu)化的新范式：其核心在于以終端場景需求為錨點，逆向重構(gòu)技術(shù)路徑實現(xiàn)效率躍遷。典型技術(shù)突破包括——基于低秩緩存重構(gòu)的多頭潛在注意力（MLA）機制，將KV緩存顯存消耗降低76%的同時維持多粒度語義建模能力；采用動態(tài)子模型激活的混合專家架構(gòu)（MoE），使175B參數(shù)模型推理成本降至1/8。這種架構(gòu)革新不僅驅(qū)動DeepSeek V3/R1實現(xiàn)性能-能效雙突破，更引發(fā)三重產(chǎn)業(yè)變革：催化垂直領(lǐng)域AI原生應(yīng)用爆發(fā)，重構(gòu)大模型開源與閉源的價值平衡點，倒逼GPU算力市場形成彈性供給體系，最終推動生成式AI從實驗室創(chuàng)新向量產(chǎn)化部署的歷史性跨越。