Class Central is learner-supported. When you buy through links on our site, we may earn an affiliate commission.

National University of Defense Technology

机器学习数学基础

National University of Defense Technology via XuetangX

Overview

Google, IBM & Meta Certificates – 40% Off
One plan covers every Professional Certificate on Coursera.
Unlock All Certificates

当前,智能革命扑面而来,作为人工智能的核心,机器学习各类模型、算法、应用让人目不暇接。学术界一直呼吁可解释的机器学习,就是要夯实学科的底层理论根基。

课程团队2022年开设《机器学习数学基础》课程,经过几年的建设发展实践,取得了较好的育人和创新效益。《机器学习数学基础》是面向研究生和高年级本科生的一门重要的基础性课程,主要介绍机器学习理论分析的数学基础、任务的可学性、函数空间的复杂性度量、模型的泛化误差界估计、学习算法的稳定性、学习算法的一致性、学习算法的收敛率、在线学习的遗憾界等内容。课程的目的是引导学生探索机器学习底层的理论逻辑,为原始科研创新提供支撑。

欢迎大家学习《机器学习数学基础》课程,一起感受机器学习之美、掌握机器学习之要、学会机器学习之用,热情拥抱智能时代。



Syllabus

  • 第一章 预备知识
    • 1.1-课程的目标与主要内容
    • 1.2-预备知识之凸集凸函数
    • 1.3-预备知识之凸函数性质
    • 1.4-预备知识之基本不等式
    • 1.5-预备知识之复杂不等式
    • 1.6-预备知识之凸优化模型
    • 1.7-预备知识之最优化对偶
    • 1.8-预备知识之硬间隔模型
    • 1.9-预备知识之核方法模型
    • 1.10-预备知识之软间隔模型
  • 第二章 可学性
    • 2.1-机器学习的基本概念
    • 2.2-可分情形的可学性
    • 2.3-不可分情形的可学性
    • 2.4-布尔合取式的可学性
    • 2.5-析取与合取范式的可学性
    • 2.6-轴平行矩形的可学性
  • 第三章 复杂度
    • 3.1-函数空间的VC维度
    • 3.2-VC维度的例子计算
    • 3.3-VC维度的两类估计
    • 3.4-Natarajan维度的定义
    • 3.5-Natarajan维度的估计
    • 3.6-Rademacher复杂度定义
    • 3.7-Rademacher复杂度估计
    • 3.8-线性超平面的VC维度
    • 3.9-线性超平面的Rademacher复杂度
    • 3.10-支持向量机的VC维度
    • 3.11-增长函数的两类估计
    • 3.12-神经网络的VC维度
  • 第四章 泛化界
    • 4.1-可分的有限的函数空间的泛化上界
    • 4.2-不可分有限的函数空间的泛化上界
    • 4.3-VC维有限的函数空间的泛化上界(1)
    • 4.4-VC维有限的函数空间的泛化上界(2)
    • 4.5-基于Rademacher复杂度的泛化上界(1)
    • 4.6-基于Rademacher复杂度的泛化上界(2)
    • 4.7-基于VC维的可分函数空间的泛化下界
    • 4.8-基于VC维不可分函数空间的泛化下界(1)
    • 4.9-基于VC维不可分函数空间的泛化下界(2)
    • 4.10-支持向量机的泛化误差估计(1)
    • 4.11-支持向量机的泛化误差估计(2)
    • 4.12-经验风险最小化算法的性能
  • 第五章 稳定性
    • 5.1-机器学习算法的多类型风险
    • 5.2-机器学习算法的多类型稳定性
    • 5.3-一致稳定性与风险的关系
    • 5.4-期望稳定性与风险的关系
    • 5.5-稳定性与过拟合的关系
    • 5.6-稳定性与可学性的关系
    • 5.7-支持向量分类的稳定性
    • 5.8-支持向量回归的稳定性
    • 5.9-岭回归模型的稳定性
    • 5.10-k近邻的稳定性
  • 第六章 一致性
    • 6.1-贝叶斯分类器与贝叶斯风险
    • 6.2-贝叶斯插入法与一致性概念
    • 6.3-替代函数的模型构建
    • 6.4-替代函数一致性概念
    • 6.5-替代函数一致性的充分条件
    • 6.6-划分机制一致性概念
    • 6.7-划分机制一致性定理
    • 6.8-Hinge函数的替代一致性
    • 6.9-平方Hinge函数的替代一致性
    • 6.10-平方函数的替代一致性
    • 6.11-指数函数的替代一致性
    • 6.12-对率函数的替代一致性
    • 6.13-随机森林的模型构建
    • 6.14-随机森林的一致性定理
  • 第七章 收敛率
    • 7.1-优化问题收敛率的基本概念
    • 7.2-凸函数的梯度下降算法
    • 7.3-强凸函数的梯度下降算法
    • 7.4-凸函数的随机梯度下降算法
    • 7.5-凸函数的随机梯度下降算法
    • 7.6-强凸函数的阶段随机梯度下降
    • 7.7-强凸函数的阶段随机梯度下降
    • 7.8-支持向量机梯度下降算法
    • 7.9-对率回归随机梯度下降算法
  • 第八章 遗憾界
    • 第8.1讲-遗憾界的基本概念
    • 第8.2讲-在线凸优化的遗憾界
    • 第8.3讲-在线强凸优化的遗憾界
    • 第8.4讲-在线凸优化的拓展
    • 第8.5讲-多臂赌博机的算法
    • 第8.6讲-随机多臂赌博机的遗憾界
    • 第8.7讲-线性赌博机的算法
    • 8.8-随机线性赌博机的遗憾界
    • 第8.9讲-凸赌博机的算法
    • 第8.10讲-凸赌博机的遗憾界
    • 第8.11讲-在线支持向量机的遗憾界
    • 第8.12讲-对率赌博机的遗憾界
  • 期末测试

    Taught by

    liujin, zhouwen, liweili, and chenjie

    Tags

    Reviews

    Start your review of 机器学习数学基础

    Never Stop Learning.

    Get personalized course recommendations, track subjects and courses with reminders, and more.

    Someone learning on their laptop while sitting on the floor.