动手学习深度学习（21）序列模型

茴香豆 Lv5
  2022-12-13 13:19:28 2022-12-13 13:19:28 Created   2023-02-13 14:20:08 2023-02-13 14:20:08 Updated      

时序结构的数据就是一种序列数据，音乐、语言、文本和视频都是连续的。

在时间 t 观察到 x_t ，那么得到 T 个不独立的随机变量 (x_1,...x_T)~p(x)

使用条件概率展开 p(a,b) = p(a)p(b|a)=p(b)p(a|b)

序列模型

p(x) = p(x_1) \cdot p(x_2|x_1) \cdot p(x_3|x_1,x_2) \cdot ...p(x_T | x_1,...x_{T-1})

对条件建模（对见过的数据建模，也称自回归模型：对见过的数据建模）

p(x_t|x_1,...x_{t-1}) = p(x_t|f(x_1,...x_{t-1}))

方案A - 马尔可夫假设

假设当前数据只跟过去 \tau 个数据点相关（例如在过去数据上训练一个MLP模型）

p(x_t|x_1,...x_{t-1}) = p(x_t|x_{t-\tau},...x_{t-1}) = p(x_t|f(x_{t-\tau},...x_{t-1}))

方案B - 潜变量模型

引入潜变量 h_t 来表示过去信息 h_t = f(x_1,...x_{t-1}) ，这样 x_t = p(x_t|h_t,x_{t-1})

HMM（隐马尔可夫模型）

一文搞懂HMM（隐马尔可夫模型） - skyme - 博客园 (cnblogs.com)

如何用简单易懂的例子解释隐马尔可夫模型？ - 知乎用户的回答 - 知乎

  • Title: 动手学习深度学习（21）序列模型
  • Author: 茴香豆
  • Created at : 2022-12-13 13:19:28
  • Updated at : 2023-02-13 14:20:08
  • Link: https://hxiangdou.github.io/2022/12/13/DL_21/
  • License: This work is licensed under CC BY-NC-SA 4.0.
Comments
On this page
动手学习深度学习（21）序列模型
  1. 序列模型
    1. 方案A - 马尔可夫假设
    2. 方案B - 潜变量模型
  2. HMM（隐马尔可夫模型）