大数据智能——大语言模型

本书是大数据新兴领域“十四五”高等教育教材。本书展现了大语言模型技术的整体框架和路线图，内容讲解力求简明、准确、实用，旨在为相关行业提供大模型技术的中文参考资料，推动我国相关人工智能技术的发展。全书共13章，内容涉及大模型的背景与基础知识、预训练、微调与对齐、模型使用、评测与资源等，同时提供了相关代码示例与实验工具包。

本书可供具有深度学习基础的读者阅读与使用，既可作为高等学校人工智能、大数据、计算机类专业教材，也可作为相关从业与研究人员的参考用书。

目录
- 前辅文
- 第一部分背景与基础知识
  - 第1章引言
    - 1.1 语言模型的发展历程
    - 1.2 大语言模型的能力特点
    - 1.3 大语言模型关键技术概览
    - 1.4 大语言模型对科技发展的影响
    - 1.5 本书的内容组织
    - 1.6 本书配套资源说明
  - 第2章基础介绍
    - 2.1 大语言模型的构建过程
      - 2.1.1 大规模预训练
      - 2.1.2 指令微调与人类对齐
    - 2.2 扩展定律
      - 2.2.1 KM扩展定律
      - 2.2.2 Chinchilla扩展定律
      - 2.2.3 关于扩展定律的讨论
    - 2.3 涌现能力
      - 2.3.1 代表性的涌现能力
      - 2.3.2 涌现能力与扩展定律的关系
    - 2.4 GPT系列模型的技术演变
      - 2.4.1 早期探索
      - 2.4.2 规模扩展
      - 2.4.3 能力增强
      - 2.4.4 性能跃升
    - 习题
- 第二部分预训练
  - 第3章数据准备
    - 3.1 数据来源
      - 3.1.1 通用文本数据
      - 3.1.2 专用文本数据
    - 3.2 数据预处理
      - 3.2.1 质量过滤
      - 3.2.2 敏感内容过滤
      - 3.2.3 数据去重
      - 3.2.4 数据对预训练效果的影响
      - 3.2.5 数据预处理实践
    - 3.3 词元化（分词）
      - 3.3.1 BPE分词
      - 3.3.2 WordPiece分词
      - 3.3.3 Unigram分词
      - 3.3.4 分词器的选用
    - 3.4 数据调度
      - 3.4.1 数据混合
      - 3.4.2 数据课程
      - 3.4.3 预训练数据准备概述——以YuLan模型为例
    - 习题
  - 第4章模型架构
    - 4.1 Transformer模型
      - 4.1.1 输入编码层
      - 4.1.2 名头注意力层
      - 4.1.3 前馈网络层
      - 4.1.4 编码器
      - 4.1.5 解码器
    - 4.2 详细配置
      - 4.2.1 归一化方法
      - 4.2.2 归一化模块位置
      - 4.2.3 激活函数
      - 4.2.4 位置编码
      - 4.2.5 注意力机制
      - 4.2.6 混合专家模型
      - 4.2.7 LLaMA的详细配置
    - 4.3 主流架构
      - 4.3.1 编码器-解码器架构
      - 4.3.2 因果解码器架构
      - 4.3.3 前缀解码器架构
    - 4.4 长上下文模型
      - 4.4.1 位置编码扩展
      - 4.4.2 上下文窗口调整
      - 4.4.3 长文本数据
    - 4.5 新型模型架构
      - 4.5.1 参数化状态空间模型
      - 4.5.2 状态空间模型变种
    - 习题
  - 第5章模型预训练
    - 5.1 预训练任务
      - 5.1.1 语言建模
      - 5.1.2 去噪自编码
      - 5.1.3 混合去噪器
    - 5.2 优化参数设置
      - 5.2.1 基于批次数据的训练
      - 5.2.2 学习率
      - 5.2.3 优化器
      - 5.2.4 稳定优化技术
    - 5.3 可扩展的训练技术
      - 5.3.1 3D并行训练
      - 5.3.2 零冗余优化器
      - 5.3.3 激活重计算
      - 5.3.4 混合精度训练
    - 5.4 模型参数量计算与效率分析
      - 5.4.1 参数量计算
      - 5.4.2 训练运算量估计
      - 5.4.3 训练时间估计
      - 5.4.4 训练显存估计
    - 5.5 预训练代码实践
    - 习题
- 第三部分微调与对齐
  - 第6章指令微调
    - 6.1 指令数据的构建
      - 6.1.1 基于现有的NLP任务数据集构建
      - 6.1.2 基于日常对话数据构建
      - 6.1.3 基于合成数据构建
      - 6.1.4 指令数据构建的提升方法
      - 6.1.5 指令微调的作用
    - 6.2 指令微调的训练策略
      - 6.2.1 优化设置
      - 6.2.2 数据组织策略
    - 6.3 参数高效的模型微调
      - 6.3.1 低秩适配微调方法
      - 6.3.2 其他高效微调方法
    - 6.4 代码实践与分析
      - 6.4.1 指令微调的代码实践
      - 6.4.2 指令微调的实验性分析
      - 6.4.3 LoRA代码实践与分析
    - 习题
  - 第7章人类对齐
    - 7.1 人类对齐的背景与标准
      - 7.1.1 背景
      - 7.1.2 对齐标准
    - 7.2 基于人类反馈的强化学习
      - 7.2.1 RLHF概述
      - 7.2.2 人类反馈数据的收集
      - 7.2.3 奖励模型的训练
      - 7.2.4 强化学习训练
      - 7.2.5 代表性RLHF工作介绍
      - 7.2.6 进阶RLHF方法介绍
    - 7.3 非强化学习的对齐方法
      - 7.3.1 代表性监督对齐算法DPO
      - 7.3.2 其他有监督对齐算法
    - 7.4 关于SFT和RLHF的进一步讨论
      - 7.4.1 基于学习方式的总体比较
      - 7.4.2 SFT的优缺点
      - 7.4.3 RLHF的优缺点
    - 7.5 幻象
      - 7.5.1 幻象的定义与分类
      - 7.5.2 幻象的生成原因
      - 7.5.3 幻象的检测方法
      - 7.5.4 幻象的消除方法
    - 习题
- 第四部分模型使用
  - 第8章解码与部署
    - 8.1 解码策略
      - 8.1.1 背景
      - 8.1.2 贪心搜索的改进
      - 8.1.3 随机采样的改进策略
      - 8.1.4 实际使用设置
    - 8.2 解码加速算法
      - 8.2.1 解码效率分析
      - 8.2.2 系统级优化
      - 8.2.3 解码策略优化
      - 8.2.4 解码方法实践
    - 8.3 低资源部署策略
      - 8.3.1 量化基础知识
      - 8.3.2 训练后量化方法
      - 8.3.3 经验性分析与相关结论
    - 8.4 其他模型压缩方法
      - 8.4.1 模型蒸馏
      - 8.4.2 模型剪枝
    - 习题
  - 第9章提示学习
    - 9.1 基础提示
      - 9.1.1 人工提示设计
      - 9.1.2 自动提示优化
    - 9.2 上下文学习
      - 9.2.1 上下文学习的形式化定义
      - 9.2.2 示例设计
      - 9.2.3 底层机制
    - 9.3 思维链提示
      - 9.3.1 思维链提示的基本形式
      - 9.3.2 思维链提示的优化策略
      - 9.3.3 关于思维链的进一步讨论
    - 9.4 检索增强生成
      - 9.4.1 检索增强生成的基本流程
      - 9.4.2 检索增强生成的优化策略
    - 习题
  - 第10章规划与智能体
    - 10.1 基于大语言模型的规划
      - 10.1.1 整体框架
      - 10.1.2 方案生成
      - 10.1.3 反馈获取
    - 10.2 基于大语言模型的智能体
      - 10.2.1 智能体概述
      - 10.2.2 大语言模型智能体的构建
      - 10.2.3 多智能体系统的构建
      - 10.2.4 大语言模型智能体的典型应用
      - 10.2.5待解决的关键技术问题
    - 习题
- 第五部分评测与资源
  - 第11章模型评测
    - 11.1 评测指标与评测方法
      - 11.1.1 常见评测指标
      - 11.1.2 评测范式与方法
    - 11.2 基础能力评测
      - 11.2.1 语言生成
      - 11.2.2 知识利用
      - 11.2.3 复杂推理
    - 11.3 高级能力评测
      - 11.3.1 人类对齐
      - 11.3.2 环境交互
      - 11.3.3 工具使用
    - 11.4 公开综合评测体系
      - 11.4.1 MMLU
      - 11.4.2 BIG-Bench
      - 11.4.3 HELM
      - 11.4.4 C-Eval
      - 11.4.5 其他评测数据集与资源
      - 11.4.6 公开评测资源选择参考
      - 11.4.7 评测代码实践
    - 习题
  - 第12章模型资源
    - 12.1 公开可用的模型检查点
      - 12.1.1 公开可用的通用大语言模型检查点
      - 12.1.2 LLaMA本休系列
    - 12.2 常用的预训练数据集
      - 12.2.1 网页
      - 12.2.2 书籍与论文
      - 12.2.3 维基百科
      - 12.2.4 代码
      - 12.2.5 混合型数据集
    - 12.3 常用的微调数据集
      - 12.3.1 指令微调数据集
      - 12.3.2 人类对齐数据集
    - 12.4 代码库资源
      - 12.4.1 Hugging Face开源社区
      - 12.4.2 DeepSpeed
      - 12.4.3 Megatron-LM
  - 第13章总结
- 参考文献

所在地区	请选择 
详细地址
收货人
联系电话
设为默认	设为默认收货地址

大数据智能——大语言模型

相关图书

人工智能导论：模型与算法

吴飞

智能之门：神经网络与深度学习入门（基于Python的实现）

胡晓武秦婷婷李超邹欣

智能产品设计

孙凌云

金融智能：理论与实践

郑小林主编；朱梦莹陈超超副主编

赋能：人工智能与数字经济

王延峰、于晓宇、史占中、吴明辉、李泉、周曦、俞凯、惠慧、熊友军编著

人工智能导论

黄河燕毛先领李侃陆建峰秦勇刘正阳钟晓时编著

数据科学前沿技术导论

高云君陈璐苗晓晔张天明

具身智能导论

刘华平郭迪孙富春编著

人工智能基础（第5版）

蔡自兴蒙祖强陈白帆编著

人工智能通识教程（新文科版）

刘健陈诚编著

大数据智能——大语言模型

相关图书

吴飞

胡晓武 秦婷婷 李超 邹欣

孙凌云

郑小林主编； 朱梦莹 陈超超副主编

王延峰、于晓宇、史占中、吴明辉、李泉、周曦、俞凯、惠慧、熊友军 编著

黄河燕 毛先领 李侃 陆建峰 秦勇 刘正阳 钟晓时 编著

高云君 陈璐 苗晓晔 张天明

刘华平 郭迪 孙富春 编著

蔡自兴 蒙祖强 陈白帆 编著

刘健 陈诚 编著

胡晓武秦婷婷李超邹欣

郑小林主编；朱梦莹陈超超副主编

王延峰、于晓宇、史占中、吴明辉、李泉、周曦、俞凯、惠慧、熊友军编著

黄河燕毛先领李侃陆建峰秦勇刘正阳钟晓时编著

高云君陈璐苗晓晔张天明

刘华平郭迪孙富春编著

蔡自兴蒙祖强陈白帆编著

刘健陈诚编著