• 第一部分：因果推断的理论框架
• 第二部分：经典因果推断模型
• 第三部分：选择后的推断
• 第四部分：推广与方法论
• 第五部分：高维数据与内生性
• 第六部分：进一步研究
• 第七部分：对异质效应的推断
• 第八部分：最佳政策学习
• 第九部分：文献综述

• 重要性： 将机器学习与因果推断结合，以在高维、非线性经济和金融数据中实现可靠的处理效应估计——改善偏差减少、揭示异质效应，并支持稳健的政策和决策分析。

• 重点：

  • 潜在结果框架和识别条件（SUTVA、无关性、重叠）。
  • 经典因果方法：回归调整、倾向评分匹配、IV/2SLS、DiD、RDD。
  • ML增强的因果工具：Lasso（变量选择）、选择后推断、双重选择；双重/去偏机器学习（交叉拟合、正交分数）；因果树和因果森林用于异质处理效应；TMLE用于目标估计。
  • 实际关注：模型选择、稀疏性、诊断检查（平衡、工具有效性、平行趋势）和敏感性分析。

• 设：

  • ：无处理的潜在结果。
  • ：有处理的潜在结果。

• 观察到的结果：

• 个体处理效应：
  • 隐形，因此不可行
• 平均处理效应（ATE）：

• 接受处理的平均处理效应（ATT）：

• RCTs：随机分配至处理/对照组。
• 对照组用作测量处理效应的基线。
• 旨在促进与反事实情境（无处理结果）的比较。

• 减少选择偏差，确保组间可比性。
• 有助于通过控制外部因素来建立可信的因果关系。

• *稳态单位处理价值（SUTVA）*假设：某个个体的处理效果不影响其他个体的结果。
• 替代模型将假设 ，即个体的结果依赖于其他个体的处理状态。

该假设表示潜在结果与处理的独立性，当且仅当处理是随机分配的，与个体的潜在结果无关。

通过比较处理组和对照组的平均结果，我们得到：

其中 表示（平均）处理效应。

利用中心极限定理，我们得出估计量 具有渐近正态性：

其中

并且我们可以推导ATE的置信区间。

假设：

1. SUTVA：一个个体的处理效应不会影响其他个体。
2. 随机分配：处理分配与潜在结果独立。

估计方法：

• 线性模型：

• 在标准假设下，OLS可以估计平均处理效应。

关键假设

• 条件独立性：

倾向评分

• 定义给定可观测特征的处理概率

• 倾向评分使我们能够减少问题的维度，因为它满足：

• 条件在倾向评分 下，处理分配 与潜在结果是独立的。

• 首先使用非参数回归 估计评分 p
  • 当 是离散且取值为 时，p 的自然估计是 当
  • 然后，我们使用：

  • 定义假设倾向评分已知的oracle估计量 ：

  • $ \hat{\tau}_{IPW} $ 的渐近性质通过分解进行：

对于每个 ：

其中 对于 ，因此

获取具有此特征的ATE一致估计量的一种方法是使用 的一致非参数估计量 ，然后在观察值上取平均：

增强的反倾向评分（AIPW）估计量，由 Robins 等人（1994）和 Hahn（1998）定义，旨在修正 由于对 的估计而造成的偏差。它由以下给出：

此AIPW估计量具有两个重要属性：

• 它达到了半参数效率界限（Robins等，1994；Hahn，1998），并且

  • 其中 对于 。

• 它是双重稳健的，这意味着如果估计量 对于 是一致的，或者如果 是一致的，则它是一致的。

• 我们处于一个 但不是 的上下文中。

• 策略：识别工具变量 ，其中 大于内生变量的数量（此处： 为标量）。

• 工具变量定义：

  1. 与内生变量 相关。
  2. 与残差 无关。

• 定义 为使用 对 的最佳线性预测：

• 记 。

• 正式假设

  • 假设（秩条件）。 是非奇异的。
  • 假设（外生性）。

• 识别结果

  • 真实参数的形式为：

• 相关性（低级条件）

  • 对于假设（3.5）的低级条件（ 对 的相关性）：
    • 是非奇异的。
    • 。

• 从识别公式的经验对应中获得的估计量就是两阶段最小二乘估计量。

• 2SLS程序：

  1. 将 对工具 和控制变量 回归；获得 （预测）。
  2. 将 对预测的 和控制变量 回归。

• 特殊情况：一个工具 且无控制：

• 研究人员可能有多个工具或考虑初始工具的变换 。

• 如果对 的假设（3.6）成立，则条件矩 隐含无条件矩：

  对于任何工具向量 ，使得 。

• 这引出了问题：如何选择 以最小化 的 GMM 估计量的渐近方差？

• 的选择不影响因果效应的识别，但会影响 2SLS（或 GMM）估计量的准确性。

• 我们概述了关于最佳工具的经典结果。

• 为了简单起见，仅限制于条件同方差性：

• 设置和目标

  • 假设只有 是内生且标量；表示 。
  • 考虑基于工具 的 GMM 的矩条件，具有 ：

  • 定义 。

• GMM 估计量

  • GMM 估计量满足
    并且

• 渐近性质
  • 渐近正态性：
    其中

  • 最优的 最小化 的渐近方差。

• 定理（必要条件；Newey & McFadden，1994）：
  如果存在有效的选择 ，则必须满足

  对于所有有 的 。

• 等价地：

• 重新整理得：

• 在条件同方差下

  该条件由以下满足：

• 由于将 乘以一个常数矩阵并不改变效率，所以 最小化渐近方差。
• 结果最优对象表达式（半参数效率）为：

• 解释：
  • 最优工具是回归函数 。
  • 达到了半参数效率界限（见 Van der Vaart，1998，第25章）。

• 可能是高维的，且非参数估计具有挑战性。
• 对于少量工具，Newey & McFadden（1994）建议使用系列（筛选）估计量来回归 。
• 最优工具提高了精度，但不影响识别。

• 关键术语：因果推断、RCT、处理效应、平均处理效应（ATE）、条件独立性、倾向评分、IV方法、局部平均处理效应（LATE）。
• 参考文献：
  • Angrist & Pischke (2009)
  • Imbens & Rubin (2015)

• DID
• PSM
• RDD

• 定义：

  • 差分中的差分（DID）是一种统计技术，用于通过比较治疗组和对照组在干预前后的结果来估计因果效应。

• 目标：

  • 通过控制可能影响结果的未观察因素，隔离特定处理或政策的效果。

• 适用问题：

  • 政策分析、经济干预、金融及社会科学中的项目评估。

• 模型 / 公式：

• 假设：

  • 平行趋势假设： 如果没有处理，处理组和对照组会遵循相同的轨迹。

• 因果推断分析：

  • DID 方法通过确保结果的任何变化可以归因于干预，而不是其他影响因素，帮助减少混杂因素的偏差。

• 处理组：

  • 接受干预的组。

• 对照组：

  • 不接受干预的组，用于比较。

• 时间段：

  • 干预前： 干预前的测量。
  • 干预后： 干预后的测量。

• 背景：

  • 分析金融监管放松（例如，废除《格拉斯-斯蒂格尔法》）对银行绩效的影响。

• 数据：

  • 处理组： 受监管放松影响的银行。
  • 对照组： 没有受到影响的相似银行。

• 观察：

  • 比较监管放松前后关键财务指标（例如，资产回报率、股票表现）以估计其影响。

1. 确定处理组和对照组。
2. 收集干预前后两个组的纵向数据。
3. 计算两个组的结果变化。
4. 使用DID公式估计因果效应。
5. 使用干预前数据验证平行趋势假设。

• 假设有效性：

  • 平行趋势假设在所有情况下可能不成立。

• 混杂变量：

  • 外部因素可能扭曲结果；控制这些因素至关重要。

• 数据质量：

  • 需要可靠的纵向数据和适当的样本量以获得有意义的结果。

• 最新文献：
  • 机器学习技术可以应用于改进DID模型，通过：
    • 改善倾向评分匹配： 使用算法更好地配对处理组和对照组。
    • 特征选择： 识别影响处理结果的关键变量并调整。
    • 鲁棒性检验： 应用机器学习方法评估传统DID结果的有效性。

• 总结：

  • DID 是在缺乏随机化情况下估计因果效应的有力工具，特别在经济和金融领域非常有用。

• 参考文献：

  1. Ashenfelter, O. (1978). "确定参与收入保障计划的参与情况。"
  2. Card, D. (1990). "Mariel船潮对迈阿密劳动市场的影响。"
  3. Goodman-Bacon, A. (2018). "具有处理时机变化的差分中的差分。"
  4. Doudchenko, N., & Imbens, G. W. (2016). "平衡、回归与随机化推断。"

• 定义：

  • 倾向评分匹配（PSM）是一种统计技术，通过考虑预测接受治疗的协变量来估计治疗或干预的效果。

• 目标：

  • 通过匹配具有类似特征的处理组和对照单位来减少选择偏差。

• 适用问题：

  • 政策评估、医疗保健的处理效应、金融和社会科学。

• 模型 / 公式：

  • 倾向评分：

    • 其中 表示接受处理， 包括协变量。

• 假设：

  • 无关性假设： 在给定观察到的协变量的情况下，潜在结果与处理分配是独立的。
  • 共同支持： 处理组和对照组之间的协变量分布存在重叠。

• 因果推断分析：

  • PSM 旨在创建一种准实验条件，使在不进行随机化的情况下能够通过平衡协变量来估计因果效应。

• 处理组：

  • 接受干预或处理的个体。

• 对照组：

  • 不接受干预的个体，用于比较。

• 倾向评分：

  • 在给定一组观察到的协变量的情况下，接受处理的概率。

• 背景：

  • 评估金融素养培训对储蓄行为的影响。

• 数据：

  • 处理组： 完成培训的个体。
  • 对照组： 没有参与的相似个体。

• 过程：

  • 根据倾向评分匹配参与者，以估计培训对储蓄率的影响。

1. 使用逻辑回归模型（或其他方法）估计倾向评分，以预测基于协变量的处理分配。
2. 根据倾向评分匹配处理单位和对照单位（例如，最近邻匹配、卡尺匹配）。
3. 评估匹配后的协变量平衡，以确保两组之间的相似性。
4. 使用匹配后的样本估计处理效应。

• 假设有效性：

  • 该方法在很大程度上依赖于无关性假设；未观察到的混杂因素可能会偏差结果。

• 匹配质量：

  • 匹配不良可能导致偏差控制不充分；检查平衡至关重要。

• 数据质量：

  • 需要拥有足够协变量的丰富数据集，以确保有效估计。

• 最新文献：
  • 机器学习技术正日益被集成到PSM中，以增强模型估计：
    • 倾向评分估计： 使用先进算法（例如，随机森林、梯度提升）提高倾向评分估计的准确性。
    • 匹配过程自动化： 机器学习算法可以更有效地自动匹配处理组和对照组，优于传统方法。
    • 鲁棒性和泛化： 利用机器学习的预测能力评估不同人群中的处理效应。

• 总结：

  • PSM 是一种在观察研究中估计因果效应的宝贵工具，特别在金融和经济学中非常有用。

• 参考文献：

  1. Rosenbaum, P. R., & Rubin, D. B. (1983). "倾向评分在因果效应的观察研究中的核心作用。"
  2. Imbens, G. W. (2004). "在外生性下的平均处理效应的非参数估计：回顾。"
  3. Lechner, M. (2002). "劳动市场政策评估的一些实际问题。"
  4. Leuven, E., & Sianesi, B. (2003). "PSMATCH2：进行完整的Mahalanobis和遗传匹配的Stata模块。"

• 定义：

  • 回归不连续设计（RDD）是一种准实验的前测-后测设计，利用截止点或阈值分配处理，从而允许对干预效果进行因果推断。

• 目标：

  • 通过利用基于观察变量的处理分配不连续性来估计因果效应。

• 适用问题：

  • 政策评估、教育和健康项目评估、金融干预等。

• 模型 / 公式：

  • 基本的RDD模型可以表示为：
    • 其中 是结果变量， 是处理是否应用的指标， 捕捉截止点附近协变量的函数形式。

• 假设：

  • 连续性假设： 潜在结果在截止点处是连续的；没有其他突变除处理效应外。
  • 局部随机化： 截止点附近的单位被认为是在处理组和对照组之间随机分配的。

• 因果推断分析：

  • RDD 允许通过比较截止点上下的结果来估计因果效应，假设所有其他因素保持不变。

• 运行变量：

  • 确定处理分配的连续变量，基于指定的截止点。

• 截止点：

  • 处理变化的阈值（例如，收入水平、考试分数）。

• 处理组：

  • 刚好在截止点上方的单位，接受处理。

• 控制组：

  • 刚好在截止点下方的单位，不接受处理。

• 背景：

  • 评估最低工资提高对就业水平的影响。

• 数据：

  • 运行变量： 企业的平均工资水平。
  • 截止点： 最低工资立法阈值。

• 观察：

  • 比较最低工资阈值上下的企业就业趋势，以估计政策的影响。

1. 确定用于处理分配的运行变量和截止点。
2. 收集截止点附近结果变量和协变量的数据。
3. 进行图形分析，以可视化截止点的断裂。
4. 使用局部多项式回归或参数方法估计因果效应。
5. 通过敏感性分析和不同带宽检验结果的鲁棒性。

• 假设有效性：

  • 结果仅在假设没有其他因素在截止点处发生变化的情况下有效。

• 有限的外推性：

  • 结果可能仅适用于截断附近的单位；外部有效性可能有限。

• 数据质量：

  • 需要在截止点周围有精确测量的大数据集，以确保可靠估计。

• 最新文献：
  • 最近的研究开始将机器学习技术集成到RDD中，以增强因果推断：
    • 灵活的函数形式： 机器学习算法（例如，随机森林、神经网络）能够建模截止点附近的非线性关系。
    • 自动带宽选择： 使用机器学习方法确定最优带宽以提高估计准确性。
    • 鲁棒性检验： 机器学习方法可以通过比较不同模型的预测来帮助验证RDD的发现。

• 总结：

  • RDD 是一种在随机分配不可行的情况下估计因果效应的强大方法，特别在经济学和金融领域相关。

• 参考文献：

  1. Imbens, G. W., & Lemieux, T. (2008). "回归不连续设计：实践指南。"
  2. Lee, D. S., & Lemieux, T. (2010). "经济学中的回归不连续设计。"
  3. Cattaneo, M. D., Idrobo, N., & Titiunik, R. (2019). "回归不连续设计的实用介绍。"
  4. Gelman, A., & Imbens, G. W. (2019). "为什么在回归不连续设计中不应使用高阶多项式。"

• 重要性：在高维数据中的模型选择和稀疏性。
• 重点：
  • 选择后的推断
  • Lasso估计器作为变量选择工具
  • 双重选择方法
• 相关章节：
  • 第5章：机器学习后的推断
  • 第6章：工具变量模型
  • 第7章：进一步发展

• 两步推断：
  • 首先，选择一个模型。
  • 然后，将结果报告为真实的。
• 挑战：忽视选择步骤可能导致误导性结果。
• 背景：基于Leeb和Pötscher（2005）的工作。

• 假设：稀疏高斯线性模型
  • 是非奇异的。
• 模型：
  • : 稀疏（R）与不受限（U）

• 对于的包含决策规则：

• 渐近性质（引理4.1）：
  • 模型选择的一致性当 。

• 选择后估计量表示为：

• 分布结果表明，即使在选择后，分布也偏离高斯分布。

• Lasso估计器 定义为：
  • 在拟合（均方误差）与稀疏性（L1范数）之间取得平衡。
• 假设：稀疏高斯线性模型，的稀疏性约束。

定理：Lasso的一致性

• Lasso估计量在中是一致的：

• 准则强度和特征值条件的含义。

• 正则化偏差：由于包含/去除变量导致的偏差，进而导致错误的推断。
• 双重目标的风险：（选择变量和准确估计）。

1. 在处理上选择：使用Lasso对进行回归。
2. 在结果上选择：使用Lasso对进行回归。
3. 最终估计：对选定的和进行OLS回归。

• 结果：
  • 提供对处理效应的有效推断。

• 数据：法国2017-2019年的Enquête Emploi，共162,254个观察值。
• 建模：用教育水平和其他控制变量解释月薪的对数。
• 重要性：
  • 双重选择方法提高了处理效应估计的精度。

• 关键概念：
  • 选择后的推断、Lasso估计器、正则化偏差、双重选择方法。
• 建议：
  • 理解在不确定性下选择变量和估计的细微差别。

• Tibshirani (1994) - Lasso回归。
• Belloni et al. (2014) - 易于接触的计量经济学参考资料。
• R包：hdm用于实际应用。

• 重点：推理在计量经济学建模中的重要性。
• 目标：
  • 了解评估模型性能的方法论。
  • 探索过拟合及其影响。
• 内容：
  • 统计学习理论
  • 交叉验证技术
  • 正则化方法

• 定义：推广指的是模型在未见数据上的良好表现能力。
• 关键概念：偏差-方差权衡影响预测准确性：
  • 偏差：由于近似复杂真实情况而产生的误差。
  • 方差：由于模型对训练集波动敏感而产生的误差。

• 框架：分析学习算法的推广能力与模型复杂性之间的关系。
• 风险函数：
  • : 损失函数。
  • : 期望风险（平均损失）。

• 定义：复杂性衡量模型拟合数据的能力。
• 类型：
  • 灵活模型：可以拟合多种模式（例如，高次多项式）。
  • 刚性模型：提供较少的方差（例如，线性模型）。
• 含义：复杂性增加可能导致过拟合。

• 定义：当模型捕捉到训练数据中的噪音而非潜在模式时发生。
• 指标：
  • 训练集上的高准确率与验证/测试集上的低准确率。
• 后果：导致推广性差和预测性能不佳。

• 目的：评估模型性能并避免过拟合。
• 方法：
  • K折交叉验证：将数据分为 个子集；在 个上训练并在剩余上验证。
  • 保留法：将数据集拆分为训练集和测试集。
• 目标：确保模型对新数据的良好推广。

• 目的：通过增加复杂度的惩罚来对抗过拟合。
• 常用方法：
  • Lasso回归：

  • Ridge回归：

• 效果：降低模型复杂性并增强预测稳定性。

• 常用标准：
  • AIC（赤池信息量准则）：
  • BIC（贝叶斯信息量准则）：

• 用途：基于拟合优度与模型复杂性之间的权衡选择模型。

• 关键要点：
  • 强调推广对模型有效性至关重要。
  • 理解偏差与方差的平衡有助于提高性能。
  • 正则化和交叉验证是防止过拟合的强大工具。

• Flach, P. A. (2015): "机器学习：理解数据的算法艺术与科学"。
• Hastie, T., Tibshirani, R., & Friedman, J. (2009): "统计学习的要素"。
• Bishop, C. M. (2006): "模式识别与机器学习"。

• 重点：解决计量经济学中的内生性和高维环境。
• 关键主题：
  • 内生性的来源
  • 工具变量（IV）
  • 双重/导向机器学习技术
• 目标：在复杂模型中开发实用的推断方法。

• 定义：当自变量与回归模型中的误差项相关时发生内生性。
• 后果：
  • 估计值存在偏差且不一致。
  • 推断结果误导。

1. 遗漏变量偏差：
   • 当模型中遗漏了一个相关变量时。
2. 测量误差：
   • 变量值的误差导致估计偏差。
3. 同时性：
   • 因变量与自变量之间的相互因果关系。

• 目的：当内生性存在时提供有效的估计。
• 条件：
  1. 相关性：工具变量必须与内生变量相关。
  2. 外生性：工具变量仅通过内生变量影响因变量。

1. 第一阶段：将内生变量回归于工具变量及其他控制变量。

2. 第二阶段：用预测值替代内生变量并估计结果。