第04讲

强化学习（Reinforcement Learning, RL） 是机器学习的一个分支，使智能体能够根据从环境中获得的奖励来学习最优行为。

RL 通过与环境的交互学习 目标：学习策略 以最大化期望奖励 核心元素：状态、行为、奖励、转移、折扣因子

• 不同于有监督学习，RL 依赖于探索（exploration）与利用（exploitation）之间的权衡。

强化学习模拟了真实世界的决策过程，因此在金融领域具有天然的适用性。

• 算法交易： 通过学习市场动态，开发买卖资产的智能策略。

• 投资组合优化： 自动调整资产配置以实现预期收益/风险目标。

• 风险管理： 构建自适应系统，动态监测并缓释金融风险。

• 数学表述（最大化期望回报）：

强化学习的实践应用展示了其在应对金融复杂问题方面的能力。

• 经典动态规划（Dynamic Programming, DP） 为不确定环境下的序列决策建立了数学基础。

  在金融中，DP 可用于解决投资组合优化、期权定价或消费–投资规划等问题，但其依赖于已知的转移模型，并受“维度灾难”限制。

• 强化学习（Reinforcement Learning, RL） 消除了对显式模型的依赖。

  通过基于交互或仿真的学习，RL 可直接估计价值函数与策略，实现数据驱动的交易、执行与风险控制任务。

• 深度强化学习（Deep RL） 将神经网络与RL结合，用于逼近复杂的价值或策略函数，能够处理高维特征输入，如历史收益、订单簿数据或文本情绪。

  这种演进——从“理论驱动的DP”到“数据驱动的Deep RL”——使自动化智能体能够在现实的、不确定的金融市场中有效运作。

每一阶段都推进了我们在金融体系中应对复杂性与不确定性的能力：

• DP： 数学上精确、可解释，但在高维市场中计算不可行。
• RL： 无模型且灵活，可直接从数据中学习，但需要大量探索与精心设计的奖励函数。
• Deep RL： 可扩展且具表现力，能够捕捉金融变量间的非线性依赖，但可能存在不稳定和过拟合问题。

总体而言，这个演进清晰展示了从基于模型的优化到基于经验的学习的过渡，为投资组合分配、动态对冲、算法交易等任务提供了实用的工具，当传统模型不再适用时尤为关键。

• 核心组成部分：
  • 智能体（Agent）： 做出决策的学习者。
  • 环境（Environment）： 影响智能体的外部世界。
  • 状态（State, ）： 表示智能体当前的情境。
  • 行为（Action, ）： 智能体所采取的动作。
  • 奖励（Reward, ）： 环境反馈信息，用于指导学习。

理解这些要素是将强化学习有效应用于金融领域的基础。

• 状态空间设计：

  • 应纳入关键金融特征，如资产价格、波动率、指标信号等。

• 动作空间设计：

  • 明确可执行的操作，例如买入、卖出或持有。
  • 定义交易量或再平衡策略。

状态与动作空间的合理设计是强化学习代理在金融场景中有效学习的关键。

• 奖励函数是驱动智能体学习的核心，通过衡量行为的优劣指导优化。
  • 常见定义包括投资回报率、风险调整收益等。
• 精心设计的奖励函数能引导智能体实现长期盈利目标。

奖励函数的设定确保了智能体的行为符合金融目标。

• 令 表示系统的状态空间。状态 是在时刻 控制方可获取的信息。基于该信息，控制者必须选择一个动作。
• 令 表示动作空间。在时刻 下，针对状态 ，可能仅有一个子集 的动作是可行的。
• 表示随机转移核（stochastic transition kernel），给出当状态为 、执行动作 时，下一个状态位于集合 的概率。
• 表示系统在时刻 、状态为 并执行动作 时的（折现）单阶段奖励。
• 表示规划期末的（折现）终端奖励。

• 控制策略 是一系列决策规则序列 ，其中 且 ，决定了每个状态 在时刻 应执行的动作 。该序列称为策略（policy）或方案（strategy）。
• 正式定义的马尔可夫决策问题为：

• 红利分配问题（Dividend Problem in Risk Theory）：
  考虑一家保险公司的风险储备，一方面获得保费收入，另一方面需支付赔款。每期初公司可决定是否发放红利，且仅当储备为正时才能分红。一旦储备变为负，则视为破产，业务终止。
  → 目标：找到能最大化破产前期望折现红利总和的最优分红策略。

• 赌博机问题（Bandit Problem）：
  假设有两台老虎机，其成功概率 与 未知。每次只能选择其中一台，若获胜则得1欧元，否则无收益。
  → 如何选择以最大化 次实验的期望总收益？

• 美式期权定价问题（Pricing of American Options）：
  为求解美式期权的公平价格及最优行权时机，需解决一个最优停时问题。与欧式期权不同，美式期权买方可在到期前任意时刻行权。
  → 此类最优停时问题可在马尔可夫决策过程框架下求解。

马尔可夫决策模型也可由数据集合 等价描述，其中各部分意义如下：

• 与前页定义相同。
• 表示扰动空间（disturbance space），配备 σ-代数 。
• 表示扰动转移核（stochastic transition kernel） — 给出当当前状态为 、执行动作 时，随机扰动 落入集合 的概率。
• 为转移函数（transition function 或系统函数）。
  给出：若系统在时刻的状态为、采取动作，且在时刻 出现扰动 ，则系统在时刻 的新状态。

设 表示风险资产在区间 内的随机收益。假设 为非负且相互独立的随机变量；消费效用函数记为 ，终端财富同样通过 评估效用。取如下定义：

• ：状态空间； 表示时刻 的投资者财富；
• ：动作空间； 表示时刻 的消费额；
• ：即禁止借款；
• ： 为资产的随机收益；
• ：状态转移函数；
• 的分布（独立于）；
• ：单期奖励；
• ：期末奖励。

• 决策规则与策略
  • 可测映射 ，若满足 对所有 成立，则称为时刻 的决策规则。令 表示时刻 所有决策规则的集合。
  • 决策规则序列 ，其中 ，称为**阶段策略（policy）或方案（strategy）**。
• 价值函数：

• 定理： 对于 ，有

可积性假设 ()： 对所有

假设 () 对 阶马尔可夫决策问题成立。

示例：（消费问题）
若假设效用函数递增且凹，并且 对所有成立，则假设 () 成立。此时 与 可被线性函数 （）上界。因 在任何策略下几乎处处成立，故有：

• ：若在时刻处于状态且使用策略，则 至 之间的期望总奖励：

• ：在时刻处于状态时的最大期望总奖励：

• 两者有界性：

定义 。定义以下算子：

• :

• : 对和，定义

• :（时刻 的最大奖励算子）

定理（奖励迭代）：
令 为 阶策略，对于 有：

• 且 ，
• 即 。

示例：（消费问题）
对于 ，算子 为：

若 ，且收益分布独立于并满足。

假设策略 取 且 （每期消费固定比例资产），则通过归纳可得：

因此，最优策略 满足 ，其中 ，即最优消费比例。

• 最大化者定义： 若，则称为在时刻的最大化者，若有。
  即对所有， 是映射 在 上的最大点。

• 贝尔曼方程：

• 验证定理： 若解此方程，则：

  • 对所有 ；
  • 若 为 的最大化者，则 且策略 为最优策略。

• 动态规划原理： 若()成立，则对任意 有
  即：若 对区间 最优，则 对区间 亦最优。

• 资产动态与投资组合策略： 假设资产价格在离散时间下被观察：

  • 时间被划分为长度为 的周期，且 ；
  • 资产价格采用乘法模型：；
  • 二项式模型（Cox-Ross-Rubinstein 模型）与 Black-Scholes-Merton 模型的离散化都是乘法模型的特例。

• 期金融市场： 含 个风险资产和一个无风险债券

  • 无风险债券 且

  • 第 个风险资产的价格过程为 ，并有

• 一个投资组合（portfolio）或交易策略（trading strategy） 是一个 -适应的随机过程 ，其中 与 ，。
  表示在时段 内投资于第个资产的金额。

• 向量 被称为投资者在时刻的初始投资组合，其初始总值为：

• 若 是一个投资组合策略，记时刻交易前的投资组合价值为 ，则有：

• 交易后的投资组合价值为：

• 自融资策略（Self-financing）： 若投资策略 满足

  对所有 ，即当前财富仅在资产之间重新分配，则称其为自融资。

• 无套利机会（Arbitrage opportunity）： 若自融资策略 满足

  则存在套利机会。

• 定理： 对于一个 阶市场，下列两命题等价：

  • 市场中不存在套利机会；
  • 对任意 和 -可测的 ，若
    则必有

• 建模方法： 明确 MDP 的主要要素：

  • 状态空间 ，动作空间 ；
  • 转移函数：；
  • 价值函数：；
  • 贝尔曼方程：。

• 求解方法：

  • 通过贝尔曼方程的反向递推（backward induction）；
  • 研究最优策略的存在性与形式；
  • 关注在迭代中得以保持的结构性性质。

• 涉及企业在有限期内如何决定最优现金持有水平。每期现金储备会出现随机变化（可能为正或负）。
• 成本组成：
  • 若现金为正：存在持有成本或机会成本；
  • 若现金为负：产生支付成本（out-of-pocket expense）。
• 企业管理层可以在每期初调整现金水平：
  • 转移成本函数 定义为
    其中 表示增加现金的单位成本， 表示减少现金的单位成本。
  • 现金流的随机变化由独立同分布随机变量 描述，且其期望有限。
• 每期初持有现金水平 时所需支付的持有成本为：

• MDP 的元素定义如下：
  • ：状态空间， 表示现金水平；
  • ：动作空间， 表示调整后的现金水平；
  • ；
  • ：随机扰动空间， 表示现金变化；
  • 为 的分布（独立于 ）；
  • 一期即时收益函数：；
  • 终端收益函数：；
  • 折现因子：。

• 状态转移函数：

• 价值函数：

• 贝尔曼方程：

• 解法通过**反向归纳法（backward induction）**完成；
• 我们验证了每个 满足可积性假设 () 与结构性假设 ()；
• 现金余额问题的定理（Theorem 2.6.2）：

  • 存在两个临界水平 和 ，使得对所有 :

    其中 。

  • 对应的最优策略存在同样的临界界限 与 ，使得：

  • 经济意义：当现金水平过低（）时 → 增加现金至 ；当位于合适区间（）时 → 不调整；当现金过高（）时 → 减少现金至 。

投资者拥有初始财富 。在每个 个离散时期的起点，她都要决定在该期消费多少、投资多少到金融市场中。

在时刻 消费的金额 由效用函数 评估；剩余财富投资于风险资产与无风险债券，期末财富 带来终值效用 。

问题： 投资者应如何在各期平衡消费与投资，以最大化整个周期的预期效用总和？

• 假设 (FM)：
  • 市场中不存在套利机会；
  • 对所有 ，。
• 效用函数 与 满足定义域 。
• 财富过程 的演化为：
  其中 为消费–投资策略，满足 与 均为 -适应过程，且有 。
• 消费–投资问题的目标函数为：