• 第1部分 · 引言：大数据与金融概述
• 第2部分 · 金融中的文本分析
• 第3部分 · 金融中的图像分析
• 第4部分 · 整合、实施与展望

• 大数据概念与金融数据格局
• 替代数据类型：聚焦文本与图像
• 机遇、风险与治理

关键洞察： ~80%的金融数据是非结构化的。
来源：IDC、Gartner和Merrill Lynch的共识估计。

• 完整数据分析工作流程

  graph LR A[问题定义] --> B[数据获取] B --> C[数据预处理] C --> D[特征工程] D --> E[模型构建] E --> F[结果评估] F --> G[决策支持] F -.-> A

• 金融领域典型应用场景

  应用场景	数据类型	常用方法
  风险管理	市场数据、文本、图像	预测性建模、异常检测
  投资决策	财务报告、新闻、社交媒体	情感分析、主题建模
  欺诈检测	交易记录、行为数据	图神经网络、时间序列分析
  市场预测	价格数据、宏观指标、文本	深度学习、强化学习

替代数据的信息优势：

• 前瞻性信号 — 情感先于价格变动
• 未定价信息 — 尚未纳入市场共识
• 行为洞察 — 揭示投资者心理
• 实时更新 — 比官方发布更快

示例： 对冲基金结合新闻情感+卫星数据进行宏观现势跟踪(来源：Katona等，2022)

主要监管考量：

• 欧盟AI法案 — 基于风险的AI系统分类
• SEC指导 — 交易策略中AI的披露要求
• ESMA — 算法交易要求
• 模型风险管理 — SR 11-7指南

最佳实践：

• 记录模型开发和验证过程
• 确保关键决策中的人工监督
• 监控模型漂移和性能退化

• 金融文本数据格局与NLP流程
• 词袋模型、TF-IDF和文本回归
• 词嵌入、主题模型及其他技术
• 金融应用：资产定价、风险和政策分析

金融文本的经典NLP流程：

原始文本 → 数值表示 → 信息检索 → 分析

1. 数值表示 — 将文档转换为向量
2. 信息检索 — 降维、选择
3. 因果/预测分析 — 回归、分类

此流程构成了大多数计量经济学文本分析的基础（来源：Gaillac & L'Hour, 2024）

词袋表示法：

• 假设词序不重要
• 每个文档 = 词频向量
• 矩阵维度：（文档 × 词汇表）

DTM示例：

挑战： 极度稀疏且高维

金融领域专用词典：

关键洞察： 通用词典错误分类金融术语

• "Risk"（风险）在金融中是中性的，在一般语境中是负面的（来源：Loughran & McDonald, 2011）

使用文本特征进行预测：

其中：

• = 结果变量（收益率、风险、违约）
• = 公司/时期的文档-词项向量
• 高维度：个解释变量

维度问题的解决方案：

• 惩罚回归（LASSO、岭回归、弹性网络）
• 随机森林用于变量选择
• 使用词典进行情感聚合

• 从个文档和个词汇的语料库开始；预处理（标准化、分词、停用词移除、词干提取/词形还原），使每个文档变成序列
• 构建高维表示：
  • 文档-词项矩阵，包含词频或TF-IDF
  • 或从SVD、主题模型或嵌入得到的低维因子
• 可选压缩：选择列（词典、情感指数）或将词嵌入平均为文档级向量
• 将文本特征与结构化协变量堆叠形成或
• 估计预测或因果模型，如：
  • 或
  • 使用高维机器学习（惩罚回归、决策树、神经网络）拟合，在样本外评估，然后解释系数或因子。

• 在文本/因子回归中，特征维度（词、n-gram、主题、嵌入）通常超过样本量；文档-词项矩阵是高维且稀疏的
• OLS不适用，因此使用稀疏建模：
  • Lasso/弹性网络选择少量信息丰富的特征
  • 惩罚似然（如惩罚logit）用于分类
  • 正则化控制当时的方差和过拟合问题
• 降维作为结构化稀疏性：
  • 低秩因子模型（SVD）或主题模型（LDA）将分解为少量潜在因子
• 对于因果参数，将机器学习与交叉拟合结合：
  • 将数据分成折；在其他折上估计干扰成分（基于文本的控制变量、倾向性、结果模型）
  • 将预测插入保留折上的正交/去偏估计方程
  • 在各折间聚合，在大数据环境中提供有效推断。

• 该流程天然是预测性的：将文本转化为特征并使用灵活的机器学习估计，通过样本外损失（MSE、AUC等）评估性能
• 因果问题则针对结构性效应（政策、处理、潜在概念）。文本可以作为：
  • 控制混淆的高维变量
  • 潜在变量的代理（语气、意识形态、不确定性）
• 高维机器学习有助于近似干扰函数，但不能创造识别性；假设仍来自设计（无混淆性、工具变量、自然实验）
• 混淆预测和因果关系的风险：
  • 高预测力的文本特征可能捕捉选择或预期，而非因果渠道
  • 过拟合可能产生虚假的"重要词汇"
• 原则性工作流程区分：
  • 用于预测/调整的机器学习（控制变量、倾向性）
  • 用于因果参数的计量经济学方法，采用正交矩和交叉拟合以减少偏差。

稀疏词向量的问题：

1. 存储效率低 — 每个文档维度为
2. 无语义相似性 — 所有不同词的距离相等

3. 维度灾难 — 联合概率估计失败

解决方案： 学习密集、低维的词嵌入

研究问题： 透明度是否改变了美联储的审议过程？

方法：

• 对46,169份FOMC文件进行LDA主题建模
• 自然实验：1993年录音公开事件

发现：

• 透明度提高后，委员会成员表现出从众行为
• 相对于主席观点的不同意见减少

启示： 透明度可能降低审议质量

来源：Hansen, McMahon & Prat, 2017

使用词嵌入的金融研究：

关键洞察： 嵌入能捕捉文本中未明确表达的潜在概念

从会议记录构建不确定性指数：

1. 提取财报电话会议的MD&A部分
2. 识别不确定性语言（模糊表达、情态动词）
3. 构建公司层面的不确定性指数
4. 验证与实际波动性的关系

结果：

• 文本不确定性预测未来股票波动性
• 增量于标准风险指标
• 对期权定价和风险管理有用

在金融文本上微调的BERT：

• 训练语料库：新闻、SEC文件、分析师报告
• 比通用BERT准确率提高5-10%

变体：

注： 变换器细节将在后续讲座中介绍

关键实施问题：

• 标注 — 专家标注成本高昂
• 领域适应 — 通用模型表现不佳
• 语言变化 — 金融术语不断演变
• 评估 — 真实标准往往不可得

最佳实践：

• 使用领域特定的预处理
• 在金融样本外数据上验证
• 随时间监控模型性能

从特定任务模型→通用金融智能

核心范式转变：

• 图像数据和计算机视觉基础
• 遥感和卫星图像
• 文档图像分析和OCR
• 基于图像的风险、欺诈和ESG分析

关键组件：

1. 卷积层 — 用滤波器提取局部特征
2. 池化层 — 降低空间维度
3. 激活函数(ReLU) — 引入非线性
4. 全连接层 — 最终分类/回归

优势：

• 局部感受野 — 捕捉空间模式
• 权重共享 — 参数效率
• 层次化特征 — 低级→高级抽象
• 平移不变性 — 位置无关检测

输入图像 → [卷积 → ReLU → 池化] × N → 展平 → 全连接 → 输出

层级进展：

流行架构： VGG、ResNet、EfficientNet、Inception

利用预训练模型：

1. 特征提取 — 冻结预训练层，训练新分类器
2. 微调 — 解冻顶层，在金融数据上重新训练

为什么选择迁移学习？

• 金融图像数据集较小
• ImageNet特征可泛化到多个领域
• 显著减少训练时间和数据需求

挑战： 金融图像与自然图像不同

• 解决方案：逐层解冻

从太空捕捉实际经济活动：

优势： 实时、无偏见、全球覆盖

端到端工作流程：

图像获取 → 切片 → 预处理 → 特征提取 → 聚合

步骤：

1. 获取 — 商业提供商（Planet、Maxar）
2. 切片 — 将大图像分割为可管理的小块
3. 预处理 — 云层去除、标准化
4. 特征提取 — CNN或手动特征
5. 聚合 — 时间和空间聚合

挑战： 天气影响、获取频率、空间对齐

预测原油库存：

• 浮顶油罐投下可测量的阴影
• 阴影长度指示填充水平
• 每日图像→连续库存估计

应用：

• 预测EIA周度库存报告
• 在公告前交易原油期货
• 监控地缘政治供应中断

准确性： 比官方数据提前2-3天

处理扫描金融文档：

光学字符识别应用：

• KYC/AML — 身份证件验证
• 信贷审批 — 从税表中提取收入
• 应付账款 — 发票处理自动化
• 审计 — 合同和收据数字化

流程：

扫描 → 纠偏 → OCR → 字段提取 → 验证 → 集成

益处： 成本降低、速度提高、错误最小化

中小企业贷款自动化：

1. 上传扫描的财务报表、税务文件
2. OCR提取文本和表格
3. NLP解析财务指标
4. 验证交叉检查提取的数据
5. 评分输入信用模型

结果：

• 处理时间：天→分钟
• 人工审核减少70%
• 错误率显著降低

从图表图像自动提取：

任务：

• 图表类型分类 — 线图、柱状图、蜡烛图、饼图
• 坐标轴检测 — 霍夫变换、边缘检测
• 数据提取 — 点/柱测量
• 模式识别 — 技术分析模式

可检测的技术模式：

• 头肩顶/底
• 双顶/双底
• 三角形、旗形、楔形

股票价格图表上的机器学习：

方法：

• 在标记的价格图表图像上训练CNN
• 学习预测性视觉模式（非预定义）
• 提取预测收益的特征

主要发现：

• 模式比传统因子产生更准确的预测
• 短期模式在更长时间尺度上有效
• 美国学习的模式在国际上有效

来源：Jiang, Kelly & Xiu, JF 2023

金融领域的视觉异常检测：

模型： CNN-transformer混合模型用于异常检测

身份验证工作流程：

1. 捕获 — 人脸和身份证件照片
2. 提取 — 人脸检测、文档解析
3. 匹配 — 将实时人脸与身份证照片比对
4. 活体检测 — 检测演示攻击
5. 决策 — 接受/拒绝/人工审核

考虑因素：

• 隐私 — 生物识别数据保护法规
• 偏见 — 人口统计性能差异
• 可解释性 — 决策审计跟踪

保险和房地产应用：

• 财产估值 — 航空图像用于状况评估
• 灾害建模 — 灾前/灾后比较
• 气候风险 — 洪水、火灾、风暴暴露映射
• 理赔处理 — 自动化损害评估

示例：
保险公司使用无人机图像处理飓风后理赔。
灾前图像使准确损失估计成为可能。

关键伦理考量：

• 隐私 — 图像收集和使用的同意
• 监控 — 平衡安全与公民自由
• 偏见 — 识别准确性的人口统计差异
• 透明度 — 受监管决策的可解释AI

最佳实践：

• 定期进行跨人口统计的偏见审计
• 明确披露基于AI的决策
• 高风险应用的人工监督

• 结合文本、图像和结构化数据
• 实用项目工作流程
• 局限性、伦理和研究前沿

结合多种数据模态：

文本特征 ─┐
          ├─→ 融合层 → 预测
图像特征 -┘

融合策略：

示例： 结合新闻情感+卫星信号+基本面数据

综合替代数据方法：

输入：

• 分析师报告（文本情感）
• 网络流量数据（消费者兴趣）
• 卫星停车场数据（销售代理）
• 传统基本面（结构化）

模型：

• 每个模态的特征提取
• 具有学习权重的晚期融合
• 输出：股票选择信号

优势： 多样化的信号来源减少模型风险

从想法到部署：

文档和可重复性：

• [ ] 代码和数据的版本控制
• [ ] 实验追踪（MLflow、W&B）
• [ ] 清晰的数据血缘文档
• [ ] 包含性能指标的模型卡片

团队协作：

• 量化分析师 领域专家 工程师 风险管理人员
• 定期模型评审会议
• 明确的所有权和上报路径

可行的学期论文/毕业项目：

工具： Python、scikit-learn、PyTorch、spaCy、Tesseract

主要挑战：

• 数据质量 — 噪音、缺失数据、不一致性
• 样本选择 — 幸存者偏差、覆盖缺口
• 非平稳性 — 市场和语言不断演变
• 模型稳健性 — 对抗攻击、分布偏移

缓解措施：

• 严格的样本外测试
• 集成方法提高稳定性
• 持续监控和重新训练

金融领域负责任的AI：

监管趋势：

• 对贷款决策中AI的审查增加
• 对算法影响评估的要求

金融AI的新兴主题：

• 稳健大语言模型 — 领域适应的大语言模型
• 合成数据 — 增强稀缺金融数据集
• 人在环路 — 混合AI-人类决策系统
• 因果机器学习 — 从预测转向因果关系
• 多模态基础模型 — 统一文本-图像-表格数据

阅读列表： 请参阅课程网站获取最新综述

核心信息：

1. 文本和图像对金融分析越来越有价值
2. NLP流程 — 从预处理到嵌入再到预测
3. 计算机视觉 — 卫星、文档、图表提供独特信号
4. 整合 — 多模态方法增强稳健性
5. 责任 — 伦理、偏见和治理至关重要

"未来属于能从所有数据模态中提取洞察的分析师。"

讨论话题：

1. 随着时间推移，文本/图像信号可能如何被套利消除？
2. 基于卫星的交易有哪些公平性影响？
3. 监管机构是否应要求披露替代数据的使用？
4. 如何评估情感指标的质量？