“探索浅层学习算法如何为预测与数据驱动的金融奠定基础。”
该版为机翻版本，未经人工校对，建议配合原版使用。
回归作为金融中连续预测和信号提取的工具。
目标：从特征 中预测连续输出
普通最小二乘法 (OLS)：
假设：线性、独立同分布误差、无多重共线性
OLS 易于使用，但在 或特征相关时容易过拟合。
性质：最佳线性无偏估计 (BLUE)
扩展: 加权最小二乘法
金融应用示例：
实证金融应用
关键要点:
“使用机器学习进行选择，使用计量经济学进行估计。”
动机：
公式
其中 收集组 中的系数， 是组权重。
关键思想：
好处： 更高的稳定性，更好的经济解释，在分组设计中的预测改进。
LassoCV
RidgeCV
ElasticNetCV
from sklearn.linear_model import LassoCV, RidgeCV, ElasticNetCV # 示例 model = ElasticNetCV( l1_ratio=[.1,.5,.9,1] , alphas=None, cv=5) model.fit(X_train, y_train) best_alpha = model.alpha_ best_ratio = model.l1_ratio_
典型金融应用
关键要点
分段多项式
如果如果
约束与样条
如果否则
节点位置（固定数量时）
节点数量
计算目标点 的拟合值，仅使用附近的训练观测值
多重线性回归模型
GAM
示例
工资年份年龄教育
自然样条
平滑样条
GAM 自动建模标准线性回归会遗漏的非线性关系。
非线性拟合可以为响应 提供更准确的预测。
在固定其他变量的情况下，可以逐个检查每个 对 的影响。
变量的函数 的光滑度可以通过自由度来概括。
关键思想： 始终在样本外或保留集中评估以避免虚假拟合。
分类作为风险与不确定性下二元决策的基础。
预测离散标签 （或多类）。
金融中的例子：
回归不适合分类任务
数据来源：ISLP
预测
为具有两个以上类别的响应变量分类
模型
生成模型用于分类的核心思想
为什么我们需要用于分类的生成模型
多变量高斯分布
将对数赔率比建模为广义加性模型：
超平面
在 维空间中：维度为 的平坦仿射子空间
数学定义（对于 维设置）
如果
支持向量机无法处理非线性问题。
我们该怎么办？
假设 和 是核函数：
一对一 (OVO) 分类
一对多 (OVA) 分类
金融实践 → PD 模型评估、欺诈检出率、风险控制敏感性分析。
建议：
解释性优先 → 计量学派 逻辑回归 ≫ GAM → 用于政策研究、监管、结构分析。
预测性能优先 → 机器学习派 支持向量机 ≫ QDA ≫ 朴素贝叶斯 → 用于市场状态分类、风险监测。
混合场景 → 可加或半参数模型 GAM 在预测与解释间平衡，经济研究特别常用。
基于树的方法结合了准确性和可解释性，架起了金融中的预测与解释之间的桥梁。
训练目标： 找到最大化均方误差 (MSE) 减少的切分。
分类变量输入： 切分比较特征 与可能的类别值，而不是数值阈值。
示例回顾
- $\small p$ 是通过在 $\small R_j$ 中的类别比例估计的。
训练目标： 分类树在每个切分时最小化上切分的不纯度。常见的不纯度度量：
分类变量输入： 切分比较 与类别值，而不是数值阈值。
示例回顾：
核心思想：结合多个基础学习器以产生更强大、更稳定的模型。
为什么有效
常见集成方法
回归集成：平均预测
分类集成：投票或概率平均
如果否则。
Bagging 有效的原因
注意
为什么提升有效
关键特性
模型定义： 我们寻求一个加性模型，结合多个基础学习器：
优化框架： 我们以阶段性的方式最小化经验损失函数 ：
在每个阶段 ：
这是一个前向阶段加性的方法——每一步执行一个局部优化以减少总损失。
特殊情况
总结
核心思想
b. **拟合基础学习者** $\small f_m(x)$ 到训练数据对 $\small (x_i, r_{im})$。 c. **找到最优步长**
d. **更新模型**
示例：二次损失与最小二乘提升
洞见
典型超参数
为什么正则化很重要
三种核心正则化技术
实践中的正则化
实践启示：稳健性优于完美
为什么堆叠有效
数据划分策略 — 避免信息泄露
基础模型 — 如何选择
设计原则： 选择多样化但互补的学习者，以反映不同的经济结构。
元模型 — 如何训练
工作流程概述
第1步 将数据划分为训练折 第2步 训练多样化的基础模型 → 获取样本外预测 第3步 从基础预测中构建元特征 第4步 在这些元特征上训练元模型 第5步 将训练好的管道应用于测试数据或新的时间段
常见陷阱
三种主要方法一览
它们如何相辅相成
金融与经济应用的指导
无监督学习作为数据驱动的结构发现探索，旨在金融系统中发现潜在结构。
从有监督到无监督
核心哲学
示例直觉
在金融与经济中的重要性
概念类比
有监督 → 教师提供正确答案 无监督 → 学生自我组织成学习小组
“教师”（标签）缺席——然而洞察力从数据点之间的关系中出现。 这使得无监督方法非常适合探索性分析和假设生成。
过渡
在接下来的页面中，我们将探索主要的无监督方法： 聚类 → 发现相似性结构， 降维 → 总结复杂变量， 关联规则与异常检测 → 发现隐藏关系与异常值。
在接下来的页面中，我们将探索主要的无监督方法：
这些技术将原始、未标记的数据转变为可解释的经济知识。
主要方法
如何选择方法
评估聚类质量
在金融应用中，聚类的可解释性与数值紧凑性同样重要。
金融与经济相关性
聚类结构通常揭示潜在制度或商业策略，这些在简单平均值中是不可见的。
示例数据集
标准化至关重要 — 在聚类之前将所有特征缩放至可比较单位。
工作流程
说明性结果
经济解释
在研究层面，聚类可以作为后续模型的无监督标记机制。
扩展思路
降维 在保留数据最重要的方差或结构的同时压缩数据。
两种主要哲学： 主成分分析（PCA）和t-分布随机邻居嵌入（t‑SNE）
PCA — 核心机制
示例解释：
PCA揭示了潜在正交方向，这些方向最佳地总结了数据集。
数据的方差可以分解为前 个主成分的方差加上这一 维近似的均方误差，如下所示：
数据的方差前个主成分的方差的维近似
我们可以将 PVE 解释为由前 个主成分给出的的近似的 。
import numpy as np import matplotlib.pyplot as plt from sklearn.decomposition import PCA from sklearn.datasets import load_digits digits = load_digits() digits.data.shape # 将64维数据投影到2维 pca = PCA(2) projected = pca.fit_transform(digits.data) # 可视化 plt.scatter( projected[:, 0], projected[:, 1], c=digits.target, edgecolor='none', alpha=0.5, cmap=plt.cm.get_cmap('Spectral', 10)) plt.xlabel('成分 1') plt.ylabel('成分 2') plt.colorbar();
比较概述
金融与经济应用
动机 金融数据集中经常包含高度相关的变量，例如股票回报、因子暴露或风险指标。
PCA 帮助提取较少数量的潜在共同因子，推动资产间的共同波动。 典型问题：
从回报到因子 给定一个的资产回报矩阵：
特征值 → 风险大小；特征向量 → 因子方向。
主成分的经济解释
投资组合风险分解
总方差
每个项对应一个主成分对投资组合风险的贡献。
关联规则学习发现商品或事件之间的共现模式：
“哪些产品/行为往往一起发生？”
最初用于零售（购物篮），它在经济和金融中有广泛应用——从消费者分析到交易网络和风险事件检测。
示例场景
在一家超市的交易数据集中：
目标 → 寻找规则，例如：{面包, 牛奶} → {啤酒}，这意味着购买面包和牛奶的顾客通常也购买啤酒。
示例：如果提升率 = 1.8，购买A的顾客有80%的概率同时购买B，超过平均水平。
Apriori 算法
使用“Apriori 属性”：频繁项集的所有子集也必须是频繁的。
热门扩展： FP‑Growth、ECLAT用于可扩展性。
超越零售的应用
经济背景下的解释
典型的经济与金融背景
当标记的欺诈或危机数据有限时，无监督的异常检测至关重要。
孤立森林关键思想： 随机划分数据；异常需要更少的分割来隔离。
定量评估
在这两种情况下，异常 = “重大事件前的弱信号”。
混合与实际系统
我们学到了什么
共同主题：在显然的随机中找到秩序。
概念整合
经济分析中的优势
特别在像金融和政策分析这样的“数据丰富、理论稀缺”的环境中非常有价值。
方法论反思
实践实施检查表
一直将算法视作透镜，而非绝对真理。
设为中心化；SVD：
等价于对（得分）回归，然后映射回。
视为投影：
偏差—方差机制：
选择的方法：
解释： PCR 强调方差结构，而不是预测相关性 → 用于描述性因子发现。
适用情况：
失效情况：
要点：
PLS使用信息构建成分。
第一成分：
解释：
逐成分（NIPALS/SIMPLS思路）：
个成分后的闭式模型：
其中（权重），（加载），（加载）
Krylov子空间视图：
几何
与相关方法的链接：
收缩特征：
影响：
资产定价因子：
宏观预测：
信用风险：
预处理：
在金融计量经济学中，PLS经常产生更能预测回报或宏观变量的因子。
经验法则：
总结 · 第 02 讲
浅层学习为后来的深度学习方法奠定了基础。
推荐阅读
- 岭回归通常保留所有变量，但数值较小。 - LASSO 进行明确的特征选择。 - 弹性网平衡了偏差-方差折中。
> 示例：将宏观理论模型与数据驱动模型结合，以提高预测稳定性。
> 这些方法共同形成了从*方差控制* → *偏差校正* → *模型多样化*的**连续体**。
> 可以将无监督学习视为*让数据讲述自己的故事。*
> 它回答以下问题：“谁看起来像谁？”