AI+行业就是要将AI作为生产力应用到各行各业，这些应用并不会自然而然发生，也不会仅仅靠技术就得以落地实现。这就决定了AI这波浪潮需要大量AI PM根据各行各业业务特点将AI技术应用于这些行业中，起到促进AI产业化的作用。

我们都知道AI 产品经理是直接应用或间接涉及了 AI 技术，进而完成相关 AI 产品的设计、研发、推广、产品生命周期管理等工作的产品经理。如果细分的哈AI 产品经理直接应用了语义、语音、计算机视觉和机器学习这 4 个领域的 AI 技术，例如语义类 AI 产品经理中的知识图谱 PM、机器翻译 PM 等做出一些专属领域的产品。

毕竟AI产品经理在招聘时会有不同AI产品领域的岗位划分，每个细分的领域都会有众多相应的AI落地场景，各大厂如百度，腾讯，阿里，字节等都在抢夺AI人才，并且给出了相当后的薪水待遇，专业性人才甚至高达月薪60K的待遇。

这里的一个AI解决方案进阶训练营 正好可以帮助大家更好的晋升AI产品，里面有专业的业界大佬带你从0到1对AI进行讲解，并且对商业化大模型进行拆解，不需要懂代码，即使小白也能听懂，帮你快速提高AI时代下的产品经理必备的技能，另外还提供了20套具体的AI产品案例和AI大模型开发应用实战，可直接运用到自己的工作中去，入口我放到下方了，直接领取就可以↓↓↓

本书的一大特点是站在技术前沿，结合当下实际需要，提出了一套 Agent 开发的系统性方法论。7 个实战项目覆盖了 Agent 开发的多个方面。读者在实际工作中遇到困难，都可以在案例中得到启发，或者直接找到解决方案。

如果说它工具，书中确实提到了很多产品经理必备的技能知识，如果说它不工具，书中并没有提到工具的具体使用，而是主要介绍到了能力要求这个范畴，从知识体系、能力模型、沟通技巧等方面帮助大家系统地梳理了人工智能产品经理所必备的基本素质和技。

如果你是在找不到好的方式，还想实现一个构建一个agent，跟着知乎知学堂的AI方案解决专家免费公开课，即使你是0基础也能学的会，课程中所涉及到的案例技能，都可以直接在自己的工作中使用，让自己的产品/项目有可借鉴的成功案例！这些案例你其实都可以迁移到自己的工作中去，白快速入门，入口我放在这里了，直接听就可以↓

任务要求：

1. 理解概念：仔细阅读上述内容，理解 AI 产品经理 的核心原理
2. 动手实践：运行上面的代码示例，理解每一行的作用
3. 拓展练习：修改代码参数，观察输出结果的变化
4. 总结笔记：记录关键知识点和自己的理解

import tensorflow as tf
from tensorflow import keras
import numpy as np

# 加载预训练的医学图像模型
base_model = keras.applications.MobileNetV2(
    input_shape=(224, 224, 3),
    include_top=False,
    weights='imagenet'
)

# 添加分类头
model = keras.Sequential([
    base_model,
    keras.layers.GlobalAveragePooling2D(),
    keras.layers.Dense(128, activation='relu'),
    keras.layers.Dropout(0.5),
    keras.layers.Dense(5, activation='softmax')  # 5 种疾病分类
])

model.compile(optimizer='adam', loss='categorical_crossentropy', metrics=['accuracy'])
print("医疗图像分类模型已构建完成!")
model.summary()

💡 提示：

建议投入 1-2 小时完成今天的学习。理解概念后一定要动手实践！

当前，全球人工智能呈现多技术路径并进、加速融合创新的发展态势。智能算力、基础大模型、智能体、具身智能、AI for Science等各领域创新活跃，人工智能技术前沿走向广受各界关注。在12月7日举办的2025年大湾区科学论坛人工智能分论坛上，中国科学技术信息研究所发布《人工智能前沿技术趋势报告2025》，来自清华大学、北京航空航天大学、北京理工大学、北京邮电大学、西安交通大学等高校，中国科学院自动化所、北京智源人工智能研究院、上海人工智能实验室等科研机构，以及华为、科大讯飞等领军企业的专家参与了报告研究。报告回顾2025年全球人工智能前沿领域主要技术进步及亮点成效，并展望了未来技术走向及前沿发展趋势。

报告认为，2025年大模型复杂推理和多模态交互能力在全球各领先团队的激烈比拼中不断推高，并在解决数学、编程等挑战性任务中展现前所未有的高阶认知水平。伴随大模型智能涌现红利，幻觉问题仍在制约场景落地。2025年各领先模型幻觉抑制取得明显成效，包括训练数据层面的源头抑制、模型层面的认知对齐以及系统层面的检索知识增强。未来将由增强向内生、由数字向物理不断创新方法，在不减弱模型创造力的同时，进一步提升人工智能可靠可信水平。

报告观察发现，相对于前两年大模型一枝独秀，2025年更多人工智能新形态开始走上创新前沿，接力创新。智能体推动人工智能从“语言智能”向解决行业难题的“业务能手”转变，空间智能将人工智能感知推理能力从一维语言、二维图像拓展到三维空间，具身智能大、小脑与本体协同进步，开始引领人工智能从数字智能迈向更加广阔的物理实体智能。

报告分析认为，智能芯片持续创新迭代以及智能算力规模持续扩大正在为人工智能技术创新与产业化提供强力支撑。2025年智能算力在体系结构方面创新活跃，高速光互连、超节点等前沿技术加速十万卡以上大规模算力集群构建，算力网、空天算力的快速发展将继续拓展分布式协同计算新格局。

2025年，强化学习和数据生成技术在人工智能创新中变得越来越举足轻重。强化学习在大模型、智能体研发各环节发力，将人工智能自主学习和行为能力推上新高度；基于机理和物理规律的生成数据，在具身智能、AI for Science等领域的样本稀缺任务中加速模型算法进化成熟。

报告观察发现，2025年前瞻性探索研究也亮点纷呈。2025年通专融合的实现多路径并进探索，发掘现有能力向通用型人工智能不断迈进，成效显著。很多团队开始致力于重塑智能生成底层逻辑，神经符号混合智能、世界模型初见端倪，构建因果建模与通用推理引擎；经验学习为突破当前灾难性遗忘、泛化不足等能力瓶颈，探索持续自主学习新范式。

在智能算力领域，高带宽内存、新型芯片架构、制程工艺微缩和Chiplet等技术创新活跃，持续激发智能芯片算力潜能。除了芯片自身进步，模型与芯片更加深度的软硬协同，系统级优化有望持续驱动智能算力能效升级。异地异构算力资源协同计算迈出重要步伐，人工智能正在加速智能芯片设计、调度与运维全链条智能化。

在大模型领域，尽管预训练规模定律显现边际效益递减迹象，但后训练技术的快速崛起推动大模型能力进一步摸高。知识蒸馏、量化技术加速推理模型轻量化，拓展大模型落地空间。未来更高效的多模态统一框架和训练算法将持续提升模型智能密度和认知水平，规模定律从预训练向多阶段拓展，进一步推高大模型技术路线的能力边界。

在智能体领域，思维链显著增强了智能体的推理与规划能力，以智能体为核心的新型软件快速涌现，多智能体架构和几项关键通信协议的突破性进展，打开工具使用和智能体协作空间，为智能体加速产品创新和生态构建奠定基础。展望未来，智能体将不断增强自学习与自进化能力，推动操作系统与人机交互模式变革，并从独立任务执行迈向大规模智能体互联网。

在具身智能领域，2025年机器人复杂运动技能和平衡控制能力突飞猛进，VLA视觉语言动作模型成为年度新亮点，打通感知到行动闭环，初步显现具身大模型雏形。未来，仿生感知的进步将进一步提升机器人精细操作和空间协作能力，空间智能的三维感知推理以及世界模型的因果机理能力正在搭建具身大脑核心，推动具身智能与真实世界交互，跨平台跨机体的通用具身基座大模型将加速具身智能规模化落地。

科学研究领域成为人工智能前沿技术释放潜力和迭代成熟的沃土，大模型已经拥有的生成、预测与推理能力正在广泛迁移到科学任务上，在多项复杂任务中达到了人类顶尖专家水平，智能体加速跨科研工作流的智能化贯通，未来自主实验室将成为科研范式变革的新形态，科学智能机理模型的发展成熟，也将进一步促进世界模型及通用人工智能研发进程。

任务要求：

1. 理解概念：仔细阅读上述内容，理解 AI 前沿技术 的核心原理
2. 动手实践：运行上面的代码示例，理解每一行的作用
3. 拓展练习：修改代码参数，观察输出结果的变化
4. 总结笔记：记录关键知识点和自己的理解

import torch
from transformers import AutoModelForSequenceClassification

# 加载模型
model = AutoModelForSequenceClassification.from_pretrained("bert-base-uncased")

# 动态量化
model_quantized = torch.quantization.quantize_dynamic(
    model, {torch.nn.Linear}, dtype=torch.qint8
)

# 比较大小
print(f"原始模型参数量：{sum(p.numel() for p in model.parameters()):,}")
print(f"量化后参数量：{sum(p.numel() for p in model_quantized.parameters()):,}")

# 保存量化模型
torch.save(model_quantized.state_dict(), "model_quantized.pt")
print("量化模型已保存!")

💡 提示：

建议投入 1-2 小时完成今天的学习。理解概念后一定要动手实践！

当下AI大模型在人工智能领域的热度持续攀升，已然成为技术圈的核心风口，不仅吸引了大量行业从业者深耕，更有无数编程小白、转行人士想要入门掘金。但很多人面对繁杂的技术资料无从下手，不知道该从哪里开始、按什么顺序学习，踩了不少弯路。

今天就给大家整理了一份2026年最新、最系统的AI大模型学习路线，从0基础入门到精通实战，配套全套学习资源，不管你是纯小白还是有一定基础的程序员，跟着学就能少走弯路、快速上手，建议收藏备用，避免后续找不到！

2026最新行业报告，针对不同行业的现状、趋势、问题、机会等进行系统地调研和评估，以了解哪些行业更适合引入大模型的技术和应用，以及在哪些方面可以发挥大模型的优势。

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

这份资料由我和鲁为民博士(北京清华大学学士和美国加州理工学院博士)共同整理，现任上海殷泊信息科技CEO，其创立的MoPaaS云平台获Forrester全球’强劲表现者’认证，服务航天科工、国家电网等1000+企业，以第一作者在IEEE Transactions发表论文50+篇，获NASA JPL火星探测系统强化学习专利等35项中美专利。本套AI大模型课程由清华大学-加州理工双料博士、吴文俊人工智能奖得主鲁为民教授领衔研发。

发布@VON社区首页 >专栏 >普通人如何开始学习 AI？一份零基础也能看懂的入门路线图普通人如何开始学习 AI？一份零基础也能看懂的入门路线图@VON关注发布于 2025-12-21 13:28:19发布于 2025-12-21 13:28:197K0举报在这里插入图片描述 个人首页： VON 鸿蒙系列专栏： 鸿蒙开发小型案例总结 综合案例 ：鸿蒙综合案例开发 鸿蒙6.0：从0开始的开源鸿蒙6.0.0 鸿蒙5.0：鸿蒙5.0零基础入门到项目实战 本文章所属专栏：《AI从0到1：普通人也能掌握的智能革命指南》 一份零基础也能看懂的入门路线图 写给每一个对 AI 充满好奇，却不知从何下手的你。

最近几年，“AI”这个词几乎无处不在——从 ChatGPT 到自动驾驶，从智能推荐到医疗诊断。你可能也想过：“我能不能学 AI？” 但一打开搜索引擎，满屏的“深度学习”“神经网络”“反向传播”……瞬间劝退。

别担心！AI 并非天才专属。只要你有高中数学基础、会用电脑、愿意动手尝试，普通人完全可以踏上 AI 学习之路。 今天，我就为你梳理一条清晰、可行、不烧脑的入门路线图，包含学习路径、免费资源和心态建议。

任务要求：

1. 理解概念：仔细阅读上述内容，理解 AI 入门教程 的核心原理
2. 动手实践：运行上面的代码示例，理解每一行的作用
3. 拓展练习：修改代码参数，观察输出结果的变化
4. 总结笔记：记录关键知识点和自己的理解

import numpy as np

# 创建矩阵
A = np.array([[1, 2], [3, 4]])
B = np.array([[5, 6], [7, 8]])

# 矩阵加法
print("A + B =", A + B)

# 矩阵乘法
print("A @ B =", A @ B)

# 矩阵转置
print("A.T =", A.T)

# 特征值和特征向量
eigenvalues, eigenvectors = np.linalg.eig(A)
print("特征值:", eigenvalues)

💡 提示：

建议投入 1-2 小时完成今天的学习。理解概念后一定要动手实践！

发布RPA_Agent数字员工丨实在智能社区首页 >专栏 >金融行业人工智能技术应用现状全解析：场景、案例、技术、趋势一文看懂金融行业人工智能技术应用现状全解析：场景、案例、技术、趋势一文看懂原创RPA_Agent数字员工丨实在智能关注发布于 2025-10-22 17:17:09发布于 2025-10-22 17:17:093.3K0举报文章被收录于专栏：实在智能RPA实在智能RPA当“人工智能+金融”从概念走向规模化落地，金融行业正经历一场由数据与算法驱动的深刻变革。作为数据密集型行业，金融业凭借海量高质量数据和多元化业务场景，成为AI技术应用最成熟、最广泛的领域之一。截至2024年，金融领域的大模型渗透率已突破50%，在各行业中位居首位，全年公开披露的大模型中标项目达63个，中标金额超36亿元，较2023年实现爆发式增长。本文将全面拆解金融行业AI技术的应用现状，涵盖核心场景、技术底座、典型实践及未来方向，为你扫清关于该领域的所有认知盲区。

宁夏银行“宁银小智”大模型整合12大领域数据，生成企业全景画像，使信贷审批报告撰写效率提升60%；重庆银行数智尽调平台通过自然语言处理解析非结构化文档，尽调报告自动化完成率达60%，风险识别精度提升40%。微众银行“微粒贷”则通过机器学习分析非传统数据，3秒即可完成授信，坏账率比传统信贷低50%。

在这一领域，实在智能的产品实在Agent展现出独特优势。作为融合RPA与大模型技术的智能体，实在Agent可自动登录多系统抓取数据，无需人工手动操作，同时内置丰富的金融行业知识库，能准确解读复杂法规政策，确保审批合规性。在实际应用中，实在Agent将信贷财报录入、信用卡审批等任务的效率提升70%以上，其支持的多智能体协同与流程编排能力，还可实现端到端的业务自动化闭环。

传统金融客服与营销长期受限于人力成本高、响应效率低、服务标准化不足等问题。如今，以大模型为核心的智能系统正彻底改变这一格局。这类系统具备泛业务场景的理解能力，能通过规范化、人性化的交互回答客户多元化问题，同时实现服务效率与体验的双重提升。

在客服领域，苏商银行的“大模型客服助手”通过知识库自动生成、话术推荐和质检三大模块，将机器人自助解决率从50%提升至75%，客服人力成本下降25%。在跨境服务场景中，广西北部湾银行的虚拟数字人系统支持中、英、越南语多语言交互，承担了40%的客户咨询量，使跨境金融服务效率提升30%。

营销场景中，大模型的突破更为显著。传统智能机器人因对话能力有限，难以实现深度客户沟通，而大模型驱动的外呼系统可大幅提升交互质量。某金融机构应用大模型外呼后，与客户的沟通轮次提升83%，平均通话时长增加50%，单日1200万通外呼量中80%由大模型完成，人工坐席仅处理高净值客户的深度需求，形成高效的人机协同模式。

在反欺诈领域，多模态大模型可整合交易数据、语音记录、图像信息等多类数据，实时识别盗刷、洗钱等异常行为。某银行通过此类系统将反欺诈响应速度从小时级缩短至秒级，盗刷率下降70%；海尔消金利用AI识别伪造身份证件，准确率接近100%。面对Deepfake等新型诈骗手段，金融壹账通构建了“以AI对抗AI”的智能防护体系，其智能视觉反欺诈系统通过百万级Deepfake样本库训练，识别准确率超99%，已在港澳地区头部银行的远程开户场景中落地应用。

合规审查方面，AI技术实现了文档处理与监管适配的自动化。广发银行通过AI自动解析合同、财报等文档，提取KYC关键数据，将信贷流程从3天压缩至2小时，审批准确率达99.2%。在反洗钱（AML）监管中，AI系统可实时监测交易数据，自动识别可疑交易模式，大幅降低人工审核成本与疏漏风险。

在投研领域，大模型可整合文本、图表、舆情、历史数据等多源信息，实现研究结论的精准生成。商汤科技大模型通过深度结合行业数据，让研究模型具备更广范围的信息理解能力；智谱则与券商合作改造投研流程，实现投研框架自动总结、关键数据智能查询等功能。华泰证券推出的“AI量化工厂”接入算法引擎后，策略回测效率提升20倍，显著增强了量化交易的专业性与稳定性。

投顾服务中，多智能体协同模式成为新趋势。中信建投证券的多智能体投顾平台采用“主Agent调度+子Agent协同”模式，投顾观点生成效率提升80%，覆盖30%的客户咨询需求。未来，随着模型能力提升，AI有望为投资者提供个性化产品推荐与动态资产配置服务，降低高质量理财服务的准入门槛。

大模型是金融AI的“大脑”，通过千亿级参数规模的训练与行业数据的微调，实现了从通用能力到专业场景的适配。工商银行已建成全栈自主可控的千亿级参数AI大模型技术体系，涵盖文本处理、语音识别、图像理解等多模态能力，应用于20余个业务领域。中小金融机构则通过LoRA等轻量化微调技术降低应用门槛，某城商行基于Qwen-7B模型微调后，风险预测准确率达91%，成本较全量训练降低80%。

多模态技术使AI能同时处理文本、图像、音频等多种数据，为金融安全、投研等场景提供更全面的分析能力。中关村科金与头部金融机构合作的多模态大模型，通过跨模态活体检测、深度防伪等技术，有效拦截各类伪造攻击手段。而思维链技术的突破，则让AI能模拟专家推理过程，在风控决策、投研分析等复杂场景中提供更可靠的支持。

Agent智能体凭借“感知-规划-行动-学习”的闭环能力，成为突破金融业务瓶颈的关键。这类智能体可自主收集信息、调用工具、制定计划并执行复杂任务，在信贷审批中可将周期从3-5个工作日缩短至1个工作日以内，误判率降低30%以上。实在Agent作为企业级智能体平台，通过与RPA技术的深度融合，实现了跨系统数据流动与业务自动化，其统一管理界面与安全治理机制，更成为金融机构规模化应用AI的坚实底座。

在银行领域，工商银行构建全栈自主可控大模型体系，覆盖百余个业务场景；金融壹账通则以“AIinall”逻辑，为银行提供“咨询+系统+运营”一体化解决方案，其RaaS模式让中小机构可按效果付费使用AI服务，已带动普惠贷款规模达32.93万亿元。

在证券领域，中信建投的多智能体投顾平台、华泰证券的AI量化工厂，均通过技术创新提升了核心业务效率。科技企业方面，中关村科金的大模型外呼系统、商汤科技的投研辅助方案、实在智能的Agent智能体平台，分别在营销、投研、运营等场景形成技术突破，推动AI从“工具赋能”向“业务中枢”转变。

任务要求：

1. 理解概念：仔细阅读上述内容，理解 AI+ 金融 的核心原理
2. 动手实践：运行上面的代码示例，理解每一行的作用
3. 拓展练习：修改代码参数，观察输出结果的变化
4. 总结笔记：记录关键知识点和自己的理解

import tensorflow as tf
from tensorflow import keras
import numpy as np

# 加载预训练的医学图像模型
base_model = keras.applications.MobileNetV2(
    input_shape=(224, 224, 3),
    include_top=False,
    weights='imagenet'
)

# 添加分类头
model = keras.Sequential([
    base_model,
    keras.layers.GlobalAveragePooling2D(),
    keras.layers.Dense(128, activation='relu'),
    keras.layers.Dropout(0.5),
    keras.layers.Dense(5, activation='softmax')  # 5 种疾病分类
])

model.compile(optimizer='adam', loss='categorical_crossentropy', metrics=['accuracy'])
print("医疗图像分类模型已构建完成!")
model.summary()

💡 提示：

建议投入 1-2 小时完成今天的学习。理解概念后一定要动手实践！

大模型微调总结绝密伏击《揭秘大模型：从原理到实战》、《推荐系统技术原理与实践》作者1151 赞同19 评论3440 收藏 var _______ssr_track_zm_page_view = 'https%3A//sugar.zhihu.com/ad-track/dream%3Fat%3Dpage_view%26brd%3D%26chl%3D%26cid%3D%26ct%3D2%26ctid%3D%26md%3D%26os%3D4%26pi%3D%26si%3D%26tk%3D%26cot%3D%26clid%3Dba16fb72-fa97-44e1-ab1f-3e93e6784ffa'; var _______ssr_lt_zm_page_view = 'undefined'; true && fetch(unescape(_______ssr_track_zm_page_view), { method: 'GET', mode: 'cors', headers: {'x-zm-96': '6f06ab7c0aa715f018356bf92b29a392', 'x-zm-93': 'custom'}}) false && fetch(unescape(_______ssr_lt_zm_page_view), { method: 'GET', mode: 'cors', headers: {'x-zm-96': '', 'x-zm-93': 'custom'}}) 打个小广告 ☻，知乎专栏《大模型前沿应用》的内容已经收录在新书《揭秘大模型：从原理到实战》中。感兴趣的朋友可以购买，多谢支持！♥♥

最近，深度学习的研究中出现了许多大型预训练模型，例如 GPT-3、ChatGPT、GPT4、ChatGLM-130B 等，这些模型可以在多种自然语言处理任务中取得优异的性能表现。而其中，ChatGPT 模型因为在对话生成方面的表现而备受瞩目，成为了自然语言处理领域的热门研究方向。

然而，这些大型预训练模型的训练成本非常高昂，需要庞大的计算资源和大量的数据，一般人难以承受。这也导致了一些研究人员难以重复和验证先前的研究成果。为了解决这个问题，研究人员开始研究 Parameter-Efficient Fine-Tuning (PEFT) 技术。PEFT 技术旨在通过最小化微调参数的数量和计算复杂度，来提高预训练模型在新任务上的性能，从而缓解大型预训练模型的训练成本。这样一来，即使计算资源受限，也可以利用预训练模型的知识来迅速适应新任务，实现高效的迁移学习。因此，PEFT 技术可以在提高模型效果的同时，大大缩短模型训练时间和计算成本，让更多人能够参与到深度学习研究中来。

2019年谷歌的研究人员首次在论文《Parameter-Efficient Transfer Learning for NLP》提出针对 BERT 的 PEFT微调方式，拉开了 PEFT 研究的序幕。他们指出，在面对特定的下游任务时，如果进行 Full-Fintuning（即预训练模型中的所有参数都进行微调），太过低效；而如果采用固定预训练模型的某些层，只微调接近下游任务的那几层参数，又难以达到较好的效果。

于是他们设计了如下图所示的 Adapter 结构，将其嵌入 Transformer 的结构里面，在训练时，固定住原来预训练模型的参数不变，只对新增的 Adapter 结构进行微调。同时为了保证训练的高效性（也就是尽可能少的引入更多参数），他们将 Adapter 设计为这样的结构：

2021年斯坦福的研究人员在论文《Prefix-Tuning: Optimizing Continuous Prompts for Generation》中提出了 Prefix Tuning 方法。与Full-finetuning 更新所有参数的方式不同，该方法是在输入 token 之前构造一段任务相关的 virtual tokens 作为 Prefix，然后训练的时候只更新 Prefix 部分的参数，而 Transformer 中的其他部分参数固定。该方法其实和构造 Prompt 类似，只是 Prompt 是人为构造的“显式”的提示，并且无法更新参数，而Prefix 则是可以学习的“隐式”的提示。

同时，为了防止直接更新 Prefix 的参数导致训练不稳定的情况，他们在 Prefix 层前面加了 MLP 结构(相当于将Prefix 分解为更小维度的 Input 与 MLP 的组合后输出的结果)，训练完成后，只保留 Prefix 的参数。

embedding = torch.nn.Embedding(num_virtual_tokens, token_dim) transform = torch.nn.Sequential( torch.nn.Linear(token_dim, encoder_hidden_size), torch.nn.Tanh(), torch.nn.Linear(encoder_hidden_size, num_layers * 2 * token_dim), )3. Prompt TuningPrompt Tuning 是2021年谷歌在论文《The Power of Scale for Parameter-Efficient Prompt Tuning》中提出的微调方法。

该方法可以看作是 Prefix Tuning 的简化版本，只在输入层加入 prompt tokens，并不需要加入 MLP 进行调整来解决难训练的问题，主要在 T5 预训练模型上做实验。似乎只要预训练模型足够强大，其他的一切都不是问题。作者也做实验说明随着预训练模型参数量的增加，Prompt Tuning的方法会逼近 Fine-tune 的结果。

固定预训练参数，为每一个任务额外添加一个或多个 embedding，之后拼接 query 正常输入 LLM，并只训练这些 embedding。左图为单任务全参数微调，右图为 Prompt tuning。

from peft import PromptTuningConfig, get_peft_model peft_config = PromptTuningConfig(task_type="SEQ_CLS", num_virtual_tokens=10) model = AutoModelForCausalLM.from_pretrained(model_name_or_path, return_dict=True) model = get_peft_model(model, peft_config)4. P-Tuning v1P-Tuning 方法的提出主要是为了解决这样一个问题：大模型的 Prompt 构造方式严重影响下游任务的效果。

P-tuning 依然是固定 LLM 参数，利用多层感知机和 LSTM 对 Prompt 进行编码，编码之后与其他向量进行拼接之后正常输入 LLM。注意，训练之后只保留 Prompt 编码之后的向量即可，无需保留编码器。

self.lstm_head = torch.nn.LSTM( input_size=self.input_size, hidden_size=self.hidden_size, num_layers=num_layers, dropout=lstm_dropout, bidirectional=True, batch_first=True, ) self.mlp_head = torch.nn.Sequential( torch.nn.Linear(self.hidden_size * 2, self.hidden_size * 2), torch.nn.ReLU(), torch.nn.Linear(self.hidden_size * 2, self.output_size), ) self.mlp_head(self.lstm_head(input_embeds)[0])4.1 与Prefix-Tuning的区别P-Tuning 和 Prefix-Tuning 差不多同时提出，做法其实也有一些相似之处，主要区别在：

于是就有了v2版本：《P-Tuning v2: Prompt Tuning Can Be Comparable to Fine-tuning Universally Across Scales and Tasks》。

具体来说，通过奇异值分解将权重矩阵分解为增量矩阵，并根据新的重要性度量动态地调整每个增量矩阵中奇异值的大小。这样可以使得在微调过程中只更新那些对模型性能贡献较大或必要的参数，从而提高了模型性能和参数效率。

万字长文之提示学习和微调大模型（Prompt Learning & Prompt Tuning）253 赞同2 评论748 收藏前言Self-Attention 和 Transformer 自从问世就成为了自然语言处理领域的新星。得益于全局的注意力机制和并行化的训练，基于 Transformer 的自然语言模型能够方便的编码长距离依赖关系，同时在大规模自然语言数据集上并行训练成为可能。但由于自然语言任务种类繁多，且任务之间的差别不太大，所以为每个任务单独微调一份大模型很不划算。

本文主要根据综述文章《Pre-train, Prompt, and Predict: A Systematic Survey of Prompting Methods in Natural Language Processing》[1] 以及相关论文整理而来，在此基础之上，总结了一些现有的对 prompt learning 的相关讨论（如其缺陷，与其他学习方法的比较等）。望承前人之高屋建瓴，增添后之砖瓦。希望大家能批判性地阅读，如有误处，恳请斧正。

由于监督学习需要大量的数据学习性能优异的模型，而在 NLP 中大规模训练数据（指为特定任务而标注好的数据）是不足的，因此在深度学习出现之前研究者通常聚焦于特征工程（feature engineering），即利用领域知识从数据中提取好的特征；

在深度学习出现之后, 由于特征可以从数据中习得，因此研究者转向了结构工程（architecture engineering），即通过通过设计一个合适的网络结构来把归纳偏置（inductive bias）引入模型中，从而有利于学习好的特征。

在 2017-2019 年，NLP 模型开始转向一个新的模式（BERT），即预训练 + 微调（pre-train and fine-tune）。在这个模式中, 先用一个固定的结构预训练一个语言模型（language model, LM），预训练的方式就是让模型补全上下文（比如完形填空）。关于大模型的微调方法可以参加以下文章：

任务要求：

1. 理解概念：仔细阅读上述内容，理解 大模型微调 的核心原理
2. 动手实践：运行上面的代码示例，理解每一行的作用
3. 拓展练习：修改代码参数，观察输出结果的变化
4. 总结笔记：记录关键知识点和自己的理解

import torch
from transformers import AutoModelForSequenceClassification

# 加载模型
model = AutoModelForSequenceClassification.from_pretrained("bert-base-uncased")

# 动态量化
model_quantized = torch.quantization.quantize_dynamic(
    model, {torch.nn.Linear}, dtype=torch.qint8
)

# 比较大小
print(f"原始模型参数量：{sum(p.numel() for p in model.parameters()):,}")
print(f"量化后参数量：{sum(p.numel() for p in model_quantized.parameters()):,}")

# 保存量化模型
torch.save(model_quantized.state_dict(), "model_quantized.pt")
print("量化模型已保存!")

💡 提示：

建议投入 1-2 小时完成今天的学习。理解概念后一定要动手实践！