第01讲

• 数据类型：
  • 结构化（价格、交易、报表）
  • 非结构化（新闻、语音、图像）
• 案例：
  • 文本数据
  • 互联网和社交媒体数据
  • 卫星与图像数据
  • 气象与环境数据
  • 高维金融数据

金融正在成为一门信息科学。

When is a Liability not a Liability? Textual Analysis, Dictionaries, and 10‑Ks.

• 数据（大数据应用）
  • 超过 50,000 份美国上市公司 10‑K 报告文本（非结构化语言数据）
  • 来源：SEC EDGAR 数据库
• 数据处理方法
  • 自建 金融专用情感词典 (LM Dictionary)；
  • 自动分词、去停用词、词频统计；
  • 构造正面、负面、不确定性指标。
• 意义
  • 奠定金融文本分析标准；
  • 将传统文本转化为可量化的大数据指标；
  • 对信息披露和市场反应研究影响深远。

Firm‑Level Political Risk: Measurement and Effects.

• 数据
  • 约 8,000 家美国公司的 10‑K 报告文本（1995–2017）；
• 处理方法
  • 使用主题建模 (Topic Modeling) 自动识别政治风险语义主题；
  • 构造“企业层面政治风险指数 (PRisk)”；
  • 整合宏观政策事件与公司层面决策数据。
• 意义
  • 证明文本大数据可生成新型风险测度；
  • 推动“文本→风险→行为”量化路径；
  • 是政治与宏观不确定性研究的基础。

Text‑Based Network Industries and Endogenous Product Differentiation.

• 数据
  • 数千家上市公司 10‑K 产品描述文本。
• 处理方法
  • 文本相似度分析 （余弦距离、TF‑IDF）；
  • 构建企业间“文本语义相似网络”；
  • 代替 SIC/NAICS ，定义产业边界。
• 意义
  • 将语言大数据转化为经济结构映射；
  • 揭示产业结构和竞争模式的动态演化；
  • “文本＋网络”成为结构性建模新方向。

In Search of Attention.

• 数据
  • Google Search Volume Index (SVI) 2004‑2010
  • 数千只股票的搜索量时间序列（上百万观测点）
• 方法
  • 把 SVI 作为投资者注意力代理变量；
  • 多期回归与截面分析。
• 意义
  • 首次引入互联网用户行为数据；
  • 体现“大数据行为金融”；
  • 建立实时注意力测度工具。

Twitter Mood Predicts the Stock Market.

• 数据
  • 980余万条 Twitter 消息
  • 覆盖全球用户文本（2008‑2009）
• 方法
  • NLP 情绪词典分析（6 类情绪）；
  • 构造“集体情绪指数”；
  • Granger 因果检验 预测 DJIA 走势。
• 意义
  • 首次验证社交媒体情绪与市场波动关系；
  • 将实时非结构化数据用于金融预测。

Predicting Returns with Text Data., Enhancing Investment Decisions with Sentiment Analysis: A Probabilistic Ranking Framework.

• 数据
  • 1989—2020年约 1,200万篇单一公司 Dow Jones Newswires 新闻；
  • 匹配 CRSP、TAQ 收益，形成带精确时间戳的“新闻—价格”高频数据。
• 方法
  • 提出 SESTM（Sentiment Extraction via Screening and Topic Modeling）；
  • 以股票收益为监督信号，通过“词语筛选—情绪主题估计—惩罚似然”提取新闻情绪；
  • 从2019版的情绪评分与收益预测，拓展为2026版的半参数情绪排序框架：利用收益的序数信息，无须估计完整收益分布即可实现一致排序。
• 意义
  • 将海量非结构化文本转化为可解释、低成本且具有理论保证的金融预测信号；
  • 等权多空组合样本外夏普比率达 5.21；在可比样本中优于 LM 词典、RavenPack和BERT；
  • 体现大数据金融研究由“黑箱预测”转向任务定制、结构建模与可解释学习。

Business News and Business Cycles.

• 数据
  • 约 80万篇《华尔街日报》全文新闻（1984—2017年）；
  • 将海量非结构化商业新闻与宏观经济、金融市场数据相匹配。
• 方法
  • 运用 LDA无监督主题模型，从新闻中提取 180个经济主题；
  • 以各主题的新闻关注度构建高维经济状态指标，并通过机器学习预测宏观经济与资产价格。
• 意义
  • 新闻主题能够实时刻画经济周期，尤其是衰退关注度包含传统指标之外的信息；
  • 提升对宏观经济活动与股票市场收益的样本外预测能力；
  • 展示文本大数据如何将经济叙事转化为可量化、可预测的经济信号。

Measuring Economic Growth from Outer Space

• 数据
  • 全球 夜间灯光卫星影像 (DMSP‑OLS) ；
  • 时间：1992 – 2008，覆盖 180 多个国家。
• 方法
  • 灯光亮度校正（去噪声、跨卫星校准）；
  • 灯光强度  GDP 回归；
  • 面板模型估计照明‑产出弹性。
• 意义
  • 用遥感影像替代 GDP 测度；
  • 弥补统计空缺，推动“卫星数据经济学”；
  • 开创影像大数据在经济研究的先河。

Combining Satellite Imagery and Machine Learning to Predict Poverty.

• 数据
  • 多源卫星数据（白天高分辨率影像 + 夜光）；
  • 覆盖非洲数国 > 6 万 个村庄。
• 方法
  • 卷积神经网络 (CNN) + 迁移学习；
  • 先通过夜光特征训练 CNN ，再预测贫困概率地图。
• 意义
  • 展示 AI + 遥感影像在经济发展测度的潜力；
  • 用公开大数据生成贫困分布，为发展评估提供新手段。

Do Weather‑Induced Moods Affect the Processing of Earnings News?

• 数据
  • NOAA GHCN‑Daily ： > 1000 气象站、50 年数据；
  • 匹配公司所在地及公告日期。
• 方法
  • 构造“异常天气指数”；
  • 面板回归检验天气对财报反应的影响。
• 意义
  • 高维跨空间数据融合；
  • 揭示情绪‑信息处理机制；
  • 结构化气象数据的典型大数据应用。

Good Day Sunshine: Stock Returns and the Weather.

• 数据
  • 26 个城市 × 多年 × 日度 云量/日照 观测；
  • 全球股票市场指数。
• 方法
  • 日频面板模型；
  • 天气与市场回报的交叉检验。
• 意义
  • 首次跨国使用高频气象面板；
  • 建立天气‑情绪假说全球证据。

Predicting Anomaly Performance with Politics, the Weather, Sunspots and the Stars.

• 数据
  • 多源时间序列（天气、气候、天文、政治等）；
  • 结合股票因子回报。
• 方法
  • 多变量面板回归；
  • 高维外生因子稳健性分析。
• 意义
  • 展示多源大数据用于验证与稳健测试；
  • 示范“大数据反思”模型。

Empirical Asset Pricing via Machine Learning.

• 数据
  • 数百个股票特征 × 数千只股票 × 几十年高维面板。
• 方法
  • 系统比较 Lasso、Random Forest、Boosting、NN；
  • 特征重要性排名；
  • 构建 ML 因子模型。
• 意义
  • 非线性特征选择与预测最优化；
  • 奠定机器学习资产定价基础；
  • 实证金融进入“算法‑大数据”阶段。

Forest through the Trees: Building Cross‑Sections of Stock Returns.

• 数据
  • 数万只股票因子特征（横截面高维数据）。
• 方法
  • 随机森林＋因子降维 构建“Tree‑based Factor Model”；
  • 将非线性特征映射为可解释定价因子。
• 意义
  • 实现因子建模的非线性化与机器学习化；
  • 推动大数据资产定价框架的前沿发展。

• 大规模复杂数据 → 传统方法受限
  • 高维、非线性
  • 多样、复杂
• ML 提供灵活工具：非线性建模、变量筛选、稳健预测
• 跨界互动：金融×计算×统计

• 传统统计学过度依赖模型假设，而这些假设往往无法充分反映现实世界的复杂性。

• 算法文化优先考虑经验预测，而非理论形式。

• 在实际应用中（语音、视觉、金融），算法模型的表现优于经典模型。

• 统计教育和研究应重视预测、验证和模型表现，而不仅是显著性。

• 计量经济学文化：构建理论驱动的结构模型
  （例如 CAPM、Fama–French 因子、VAR）。
• 机器学习文化：从大规模数据中学习复杂的非线性关系
  （例如使用随机森林筛选因子、使用 LSTM 预测、使用 BERT 分析文本情绪）。
• 融合：
  • ML → 提高预测准确性
  • 计量经济学 → 提供解释和因果机制

预测与因果是互补关系，而非竞争关系。

• Breiman (2001) “统计建模：两种文化。” Statistical Science, 16(3), 199–231。
• Varian (2014) “大数据：计量经济学的新技巧。” Journal of Economic Perspectives。
• Athey & Imbens (2019) “应用计量经济学的现状：因果关系与机器学习。”

• 监督学习：使用带标签的数据集，推断一组输入（）与目标输出（）之间模式的机器学习算法。
• 无监督学习：不使用带标签数据的机器学习。在无监督学习中，仅使用输入（）进行分析，不提供任何目标（）。算法试图发现数据本身的结构。无监督学习的两类重要问题是降维和聚类。
• 强化学习：计算机通过与自身交互（或与同一算法生成的数据交互）进行学习。

在不同监督程度下发现模式。

• 定义
  • 任务 是学习从输入 到输出 的映射
  • 输入 也称为特征、协变量或预测变量
  • 输出 也称为标签、目标或响应变量
  • 经验 是训练集

• 探索性数据分析：查看是否存在明显模式
• 特征数量较少的表格数据：成对关系图
• 高维数据：先进行降维，再将数据可视化为二维或三维图形

• 通过一维（1d）决策边界建立决策规则

• 决策树：更复杂的决策规则涉及二维决策曲面

• 训练集上的误分类率：

• 损失函数：
• 经验风险：预测器在训练集上的平均损失

• 通过经验风险最小化进行模型拟合/训练

我们必须避免因不了解世界的概率本质，以及试图在本应看到灰色之处只看到黑白而产生的虚假自信。

--- 伊曼努尔·康德，由Maria Konnikova转述

• 两类不确定性
  • 认知不确定性或模型不确定性：源于对输入—输出映射缺乏了解
  • 偶然不确定性或数据不确定性：源于映射中内在的（不可约的）随机性
• 可以使用以下条件概率分布表示不确定性：

• 似然函数：

• 对数似然函数

• 负对数似然：训练集概率的负对数平均值。

• 最大似然估计量（MLE）：

• 输出空间：。
• 损失函数：二次损失或 损失：

• 均方误差或MSE：

• 示例
  • 不确定性：高斯/正态分布

• 条件分布

• 负对数似然

• 模型的函数形式：

• 参数：
• 最小二乘估计量：

• 模型的函数形式：

• 特征预处理或特征工程

• 深度神经网络（DNN）：由 个嵌套函数构成：

• 第 层的函数：
  • 最后一层：
  • 学习得到的特征提取器：

• 欠拟合意味着模型未能捕捉数据中的关系。
• 过拟合意味着模型开始纳入由数据特性或虚假相关性产生的噪声
  • 将随机性误认为模式和关系
  • 记住了数据，而非从数据中学习
  • 数据噪声水平过高且模型过于复杂
  • 复杂度是指模型中特征、项或分支的数量，以及模型是线性还是非线性的（非线性模型更复杂）。

• 经验风险

• 总体风险

• 泛化差距：

• 测试风险

• 数据科学家将总样本外误差分解为三个来源：
  • 偏差误差，即模型拟合训练数据的程度。具有错误假设的算法会产生较高偏差和较差近似，从而导致欠拟合和较高的样本内误差。
  • 方差误差，即模型结果面对来自验证样本和测试样本的新数据时发生变化的程度。不稳定的模型会吸收噪声并产生较高方差，从而导致过拟合。
  • 由数据随机性导致的基础误差。

• 学习曲线以训练样本中的数据量为横轴，以验证样本或测试样本（即样本外）的准确率（= 1 − 错误率）为纵轴

• 拟合曲线以模型复杂度为横轴，以样本内和样本外错误率（ 和 ）为纵轴

• 无监督学习：仅有“输入”，没有任何对应的“输出”。
• 任务：拟合形式为 的无条件模型

当我们学习观察时，没有人告诉我们正确答案是什么——我们只是观看。你的母亲偶尔会说“那是一只狗”，但这提供的信息非常少。通过这种方式，如果每秒能获得几个比特甚至一个比特的信息，你就很幸运了。大脑的视觉系统拥有1014个神经连接，而人的一生只有109秒。因此，每秒学习一个比特并无用处。你需要每秒获得大约105个比特的信息，而能够提供如此多信息的地方只有一个：输入本身。

--- Geoffrey Hinton, 1996

• 在数据中寻找簇：将输入划分为包含“相似”数据点的区域。

• 假设每个观测到的高维输出 均由一组隐藏或未观测到的低维潜在因子 生成。

• 因子分析（FA）

• 主成分分析（PCA）：

• 非线性模型：神经网络

• 机器学习的在线/动态版本
  • 系统或智能体必须学习如何与环境交互
  • 强化学习与马尔可夫决策过程（MDP）密切相关

MDP是描述系统状态随机演化的随机变量序列（）。当然，（）的分布取决于所选择的行动。

• 表示系统的状态空间。状态 是时点 控制者可以获得的信息。控制者必须根据这些信息选择行动。

• 表示行动空间。给定时点 的特定状态 ，可能只有某个行动子集 是可行的。

• 是随机转移核，给出在时点 的当前状态为 且采取行动 时，时点 的下一状态落入集合 B 的概率。

• 表示在时点 当前状态为 且采取行动 时，系统的（折现）单阶段奖励。

• 表示系统在规划期末的（折现）终端奖励。

控制 是一系列决策规则（），其中 且 ；对于每个可能状态 ，它决定时点 的下一行动 。这样的序列 称为政策或策略。形式上，马尔可夫决策问题表示为

• MDP问题的类型：

  • 有限期（）与无限期（）
  • 完全状态观测与部分状态观测
  • 有约束问题与无约束问题
  • 总（折现）成本准则与平均成本准则

• 研究问题：

  • 最优政策是否存在？
  • 它是否具有特定形式？
  • 能否高效计算最优政策？
  • 能否通过解析方法推导最优价值函数的性质？

假设一位投资者拥有给定的初始资本。在 个时期中，每个时期开始时，她可以决定将多少资本用于消费，以及将多少资本投资于风险资产。消费金额和终端财富均通过效用函数 进行评价。剩余资本投资于风险资产；我们假设该投资者规模较小，无法影响资产价格，并且该资产具有流动性。她应当如何消费和投资，才能最大化预期折现效用之和？

设想一家公司试图在有限的 个时期内确定最优现金水平。我们假设现金储备在每个时期都会发生随机变化（由提款或收入引起）。由于企业无法从现金头寸中获得利息，因此现金储备为正时会产持有成本，为负时则会产生利息（成本）。管理层可以在每个决策时点增加或减少现金储备，而这会产生转移成本。最优现金余额政策是什么？

考虑一位在给定金融市场中交易的小型投资者。她的目标是在所有能够于 个时期后获得至少某一预期收益（基准）的投资组合中，选择投资组合方差最小者。最优投资策略是什么？

假设我们考察一家保险公司的风险准备金：公司一方面获得保费，另一方面必须支付可能发生的理赔。在每个时期开始时，保险公司可以决定是否支付股利。只有当时的风险准备金为正时才能支付股利。一旦风险准备金变为负数，我们便认为公司已经破产并必须停止经营。哪种股利支付政策能够使破产前的预期折现股利最大化？

假设我们有两台成功概率未知的老虎机，其成功概率分别为 和 。在每个阶段，我们必须选择其中一个拉杆。如果该拉杆获胜，我们获得一欧元；否则没有现金流。应当如何操作，才能在 次尝试中最大化预期总奖励？

为了确定美式期权的公平价格及其最优行权时间，需要求解最优停止问题。与欧式期权不同，美式期权的买方可以在到期时点之前（包括到期时点）的任何时间选择行权。这种最优停止问题可以在马尔可夫决策过程框架下求解。

“机器学习从企业特征的高维空间中提取
能够预测收益的结构。”

• 背景：
  实证资产定价传统上依赖少数线性因子（例如 Fama–French 三因子/五因子）。
  然而，文献已经发现数百个潜在预测变量 → “因子动物园”。

• 挑战：

  • 高维  问题
  • 多重共线性和不稳定的系数
  • 极低的样本外 R²（≈ 0%）

• 核心问题：

  机器学习方法能否在预期股票收益的横截面中
  发现稳定且具有经济意义的预测模式？

• 数据

  • 美国股票月度数据（1957–2016年）。
  • 约94个企业特征 + 30个宏观变量 → 输入特征 。
  • 预测未来一个月收益 。

• 机器学习模型
  1. 正则化线性模型（LASSO、Ridge、Elastic Net）
  2. 基于树的模型（随机森林、梯度提升）
  3. 神经网络（前馈MLP）

• 估计设计

  • 每月进行横截面机器学习拟合：
  • 滚动样本外验证与经济表现检验。

投资组合含义

• 根据机器学习预测收益排序构建的投资组合获得显著的alpha。
• 夏普比率最高可达Fama-French五因子基准的2倍。
• 预测模式在不同子时期和市场条件下均具有稳健性。

• 机器学习模型自动重新发现并组合已知信号

  • 价值、动量、盈利能力、投资、流动性、情绪。

• 捕捉线性模型经常忽略的非线性交互作用和时变关系。

• 学习得到的函数 隐含一个估计的随机贴现因子（SDF），
  并与无套利定价相一致。

正则化 = 统计约束；机器学习 = 经济灵活性。

• 机器学习将资产定价重新表述为一个预测问题。
• 推动该领域从小规模参数模型转向数据驱动的非线性映射。
• 在Breiman的“算法建模文化”
  与金融计量经济学之间建立桥梁。

结论：

机器学习技术能够提供更高的预测准确性、更稳健的SDF估计，以及理解风险溢价的新方法。

Gu, S., Kelly, B., and Xiu, D. (2020).
基于机器学习的实证资产定价。
Review of Financial Studies, 33(5): 2223 – 2273。

• 数据和代码：https://dachxiu.github.io/
• 金融机器学习文献中具有高度影响力的研究

“目标是让学习智能体通过与市场环境交互，自主调整投资组合权重，
从而最大化风险调整后收益。”

• 经典投资组合优化（Markowitz，1952）：
  给定预期收益和协方差，进行一次性的均值—方差权衡。
  → 静态优化；需要事先作出分布假设。

• 现实投资环境：

  • 市场动态且具有不确定性
  • 存在交易成本和约束
  • 需要适应性序贯决策

• 强化学习（RL）：
  通过反复试错学习最优政策，以最大化累计奖励。

训练循环（智能体 市场）：
1. 观察市场状态 → 2. 选择行动（再平衡）→ 3. 获得奖励 → 4. 更新政策。

模型类型： 深度强化学习（DRL）

• 状态向量 ：对数收益、波动率、移动平均、动量信号、历史配置。
• 行动向量 ：满足 、 的连续权重。
• 奖励函数：
  在收益与风险惩罚之间进行平衡。
• 政策学习：深度确定性策略梯度（DDPG）或近端策略优化（PPO）。
• 探索与利用：使用 ε-贪心或随机政策采样提高学习效率。

• 数据：标普500成分股（或ETF组合）的日度价格。
• 训练：1990–2010年滚动窗口；测试：2011–2019年。
• 基准：等权重（EW）、均值—方差、风险平价策略。

主要发现

• 与基准相比，DRL模型获得更高的年化夏普比率（约为1.5–2倍）。
• 在市场回撤期间，政策会适应性地转向安全资产。
• 通过在奖励函数中加入惩罚项，提高对交易成本的稳健性。

→ 证据表明，学习智能体能够在动态不确定性下持续优化资产配置。

• 强化学习表述统一了预测与控制：
  在适应性反馈循环中同时估计预期收益和最优行动。
• 学习得到的政策 ≈ Markowitz模型的数据驱动动态扩展：

• 智能体的行为具有可解释性：基于模式进行再平衡（在高波动时期更加厌恶风险）。
• 挑战：深度强化学习的样本效率和稳定性；可解释性与黑箱学习之间的权衡。

该循环说明了持续交互过程：
随着市场演化，智能体学习最优配置。

• 强化学习将投资组合理论扩展至多时期、反馈驱动的世界。
• DRL智能体通过纳入非线性动态和适应性风险控制，优于静态基准。
• 将机器学习的预测能力（GKX，2020）与强化学习的决策优化（Dixon，2020）相结合，构成现代金融AI基础设施的核心。

• Dixon, M., Halperin, I., and Bilkay, P. (2020). 金融机器学习：从理论到实践。Springer。
• Moody, J. & Saffell, M. (2001). 通过直接强化学习进行交易。IEEE Trans. NN。
• Li, Y., and Dixon, M. (2020). 用于动态投资组合优化的深度强化学习。Applied Stochastic Models in Business and Industry。

“对信用评分中的现代分类算法进行基准比较表明，
机器学习模型的表现始终优于传统统计方法。”

• 信用风险建模是银行业的一项核心任务：估计每位申请人的违约概率（PD）。
• 经典评分卡为了简洁性和可解释性而使用逻辑回归。
• 然而，在大规模数据集中，借款人特征与违约风险之间的关系具有以下特点：
  • 非线性
  • 高维
  • 包含较强的交互作用

研究问题：

哪些机器学习方法在信用评分任务中表现最佳？

• 数据： 8个公开和专有信用数据集（每个数据集约有3万–6万个观测值）。
  • 个人贷款和信用卡申请。
  • 特征：人口统计信息、财务比率、还款历史。
  • 目标：违约（1）与不违约（0）。
• 参与基准比较的算法（8种以上）：
  1. 逻辑回归（基准）
  2. 决策树
  3. 随机森林
  4. 梯度提升（MART / GBM）
  5. 支持向量机（SVM）
  6. 神经网络（MLP）
  7. k近邻（kNN）
  8. 朴素贝叶斯
• 评估指标： AUC、Brier分数、准确率、最高十分位捕获率、泛化稳定性。

结果总结

• **集成方法（GBM、RF）**的表现系统性优于传统统计方法。
• 具有正则化和概率校准的模型能够产生最稳定的PD估计。
• 没有任何一种方法能够普遍胜出 → 选择模型时应考虑数据规模和类别不平衡。

• 梯度提升能够捕捉复杂的非线性特征交互作用，并对PD进行稳健排序。
• 神经网络可以逼近非线性决策边界，但需要更多数据和参数调整。
• 可解释版本（例如特征重要性、部分依赖图）有助于满足监管透明度要求。
• 该研究提供了一个通用基准，银行和金融科技公司至今仍使用它验证新的机器学习信用模型。

该流程说明机器学习模型如何估计PD并支持基于风险的贷款决策。

• 机器学习增强了信用风险预测，尤其是GBM和RF等集成方法。
• 基准研究（265项实验）表明，相对于逻辑回归基准，机器学习获得了一致的改进。
• 支持行业在巴塞尔IRB框架内采用配备可解释性工具的现代机器学习方法这一趋势。
• 为后续“信用风险中的可解释AI”文献奠定基础。

• Lessmann, S., Baesens, B., Seow, H.‑V., & Thomas, L. C. (2015). 信用评分前沿分类算法的基准比较。European Journal of Operational Research, 247(1), 124–136。
• 基准数据集与代码：http://www.creditriskanalytics.net
• 被视为现代信用评分模型的首选比较研究。

• 背景
  宏观经济指标（GDP增长、工业生产）的发布频率较低且存在时滞。
  → 难以实时观察商业周期。

• 思想
  金融和商业新闻文章包含大量有关
  当前经济活动和情绪的信息。

• 研究问题
  1. 能否从高维新闻文本数据中提取定量信号？
  2. 这些“新闻因子”能否预测宏观经济和资产市场波动？

示例：
“经济活动”因子的急剧下降比官方经济衰退约提前3个月。

• 作为宏观传感器的文本
  新闻报道汇集了来自企业、市场和政策制定者的分散信息。
  → 作为潜在商业状况的实时代理变量。

• 对传统信号的补充
  将定性洞见与定量估计相结合。
  改善预测与即时预测。

• 含义

  • 中央银行和投资者可以使用基于新闻的指数，及时制定政策和风险决策。
  • 在NLP方法与宏观经济建模之间建立桥梁。

该循环展示了媒体信息、实体经济与金融市场之间的持续反馈。

• 高频新闻文本包含丰富的经济信号。
• 机器学习（在TF-IDF空间上应用PCA）构建出可解释的新闻因子。
• 基于新闻的指数能够实时跟踪并领先于商业周期。
• 展示NLP如何连接新闻媒体与宏观金融之间的信息流。

Bybee, L., Kelly, B., Manela, A., & Xiu, D. (2024)。
商业新闻与商业周期。Journal of Finance, 79(4), 1919 – 1978。

• 数据和代码：https://dachxiu.github.io/
• 使用大规模文本数据将机器学习方法扩展至宏观预测。

• 通常使用两项指导原则和两种方法减少过拟合：

  • 防止算法在选择和训练期间变得过于复杂（正则化）
  • 使用交叉验证实现合理的数据抽样

• K折交叉验证

  • 将数据（不包括测试样本和新数据）随机打乱，然后划分为 个大小相等的子样本
  • 使用 个样本作为训练样本，一个样本作为验证样本
  • 通常设为5或10
  • 重复该过程 次。将 个验证误差的平均值（平均 ）作为模型样本外误差（）的合理估计

• 留一交叉验证：

• Gareth James, Daniela Witten, Trevor Hastie, Robert Tibshirani, Jonathan Taylor. Python应用统计学习导论[M]. Springer Cham, 2023。
• Murphy K P. 概率机器学习：导论[M]. MIT press, 2022。
• Gaillac C, L'Hour J. 计量经济学机器学习[M]. Oxford University Press, 2025。
• Dixon M F, Halperin I, Bilokon P. 金融机器学习[M]. Springer International Publishing, 2020。
• Nagel S. 资产定价机器学习[M]. Princeton University Press, 2021。
• de Prado M M L. 资产管理者机器学习[M]. Cambridge University Press, 2020。
• Ashwin Rao, Tikhon Jelvis. 强化学习基础及其金融应用[M]. Stanford University, 2022。
• Denev A, Amen S. 另类数据之书：投资者、交易者和风险管理者指南[M]. John Wiley & Sons, 2020。