A 证明

Section 3 的证明

引理 3.1 证明

Proof of Lemma 3.1.
首先，我们证明 $\bar{H}$ 是严格凹的。
令 $\rho$ 和 ${\rho }^{\prime }$ 为占用度量，假设 $\lambda \in [0,1]$。
对于 所有 $s$ 和 $a$，由对数和不等式 [6] 可知：
  ~  
$\begin{array}{rl}& -(\lambda \rho (s,a)+(1-\lambda ){\rho }^{\prime }(s,a))\log \frac{\lambda \rho (s,a)+(1-\lambda )({\rho }^{\prime }(s,a)}{{\sum }_{a^{\prime }}(\lambda \rho (s,a^{\prime })+(1-\lambda ){\rho }^{\prime }(s,a^{\prime }))}(19)\\ & =-(\lambda \rho (s,a)+(1-\lambda ){\rho }^{\prime }(s,a))\log \frac{\lambda \rho (s,a)+(1-\lambda )({\rho }^{\prime }(s,a)}{\lambda {\sum }_{a^{\prime }}\rho (s,a^{\prime })+(1-\lambda ){\sum }_{a^{\prime }}{\rho }^{\prime }(s,a^{\prime })}(20)\\ & \ge -\lambda \rho (s,a)\log \frac{\lambda \rho (s,a)}{\lambda {\sum }_{a^{\prime }}\rho (s,a^{\prime })}-(1-\lambda ){\rho }^{\prime }(s,a)\log \frac{(1-\lambda )({\rho }^{\prime }(s,a)}{(1-\lambda ){\sum }_{a^{\prime }}{\rho }^{\prime }(s,a^{\prime })}(21)???\\ & =\lambda (-\rho (s,a)\log \frac{\rho (s,a)}{{\sum }_{a^{\prime }}\rho (s,a^{\prime })})+(1-\lambda )(-{\rho }^{\prime }(s,a)\log \frac{{\rho }^{\prime }(s,a)}{{\sum }_{a^{\prime }}{\rho }^{\prime }(s,a^{\prime })})(22)\end{array}$
  ~  
当且仅当 ${\pi }_{\rho }\triangleq \frac{\rho (s,a)}{{\sum }_{a^{\prime }}\rho (s,a^{\prime })}=\frac{{\rho }^{\prime }(s,a)}{{\sum }_{a^{\prime }}{\rho }^{\prime }(s,a^{\prime })}\triangleq {\pi }_{{\rho }^{\prime }}$ 时等号成立。
对所有 $s$ 和 $a$ 求和表明 $\bar{H}(\lambda \rho +(1-\lambda ){\rho }^{\prime })\ge \lambda \bar{H}(\rho )+(1-\lambda )\bar{H}({\rho }^{\prime })$ 当且仅当 ${\pi }_{\rho }={\pi }_{{\rho }^{\prime }}$ 时相等。
应用命题 3.1 表明等式实际上当且仅当 $\rho ={\rho }^{\prime }$ 成立，因此 $\bar{H}$ 是严格凹的。

现在，我们来验证最后两个陈述，它们也遵循命题 3.1 和 占用度量的定义。首先,
  ~  
$\begin{array}{rl}H(\pi )& =\mathbb{E}[-\log \pi (a|s)](23)\\ & =-\sum _{s,a}{\rho }_{\pi }(s,a)\log \pi (a|s)(24)\\ & =-\sum _{s,a}{\rho }_{\pi }(s,a)\log \frac{{\rho }_{\pi }(s,a)}{{\sum }_{a^{\prime }}{\rho }_{\pi }(s,a^{\prime })}(25)\\ & =\bar{H}({\rho }_{\pi })(26)\end{array}$
  ~  
其次
  ~  
$\begin{array}{rl}\bar{H}(\rho )& =-\sum _{s,a}\rho (s,a)\log \frac{\rho (s,a)}{{\sum }_{a^{\prime }}\rho (s,a^{\prime })}(27)\\ & =-\sum _{s,a}{\rho }_{{\pi }_{\rho }}(s,a)\log {\pi }_{\rho }(a|s)(28)\\ & ={\mathbb{E}}_{{\pi }_{\rho }}[-\log {\pi }_{\rho }(a|s)](29)\\ & =H({\pi }_{\rho })(30)\end{array}$

命题 3.2 的证明

Proof of Proposition 3.2. This proof relies on properties of saddle points. For a reference, we refer the reader to Hiriart-Urruty and Lemaréchal [10, section VII.4].
命题 3.2 的证明。这个证明依赖于鞍点的性质。
作为参考，我们请读者参阅 Hiriart-Urruty 和 lemarsamchal [10，第 7 .4 节 ]。
  ~  
令 $\tilde{c}\in {\text{IRL}}_{\psi }({\pi }_E),\tilde{\pi }\in \text{RL}(\tilde{c})=\text{RL}\circ {\text{IRL}}_{\psi }({\pi }_E)$
且
$\begin{array}{rl}{\pi }_A& \in \underset{\pi }{\mathrm{argmin}}-H(\pi )+{\psi }^{\ast }({\rho }_{\pi }-{\rho }_{{\pi }_E})(31)\\ & =\underset{\pi }{\mathrm{argmin}}\underset{c}{\max }-H(\pi )-\psi (c)+\sum _{s,a}({\rho }_{\pi }(s,a)-{\rho }_{{\pi }_E}(s,a))c(s,a)(32)\end{array}$
  ~  
我们想证明 ${\pi }_A=\tilde{\pi }$。
为此，设 ${\rho }_A$ 为 ${\pi }_A$ 的占用度量 ，设 $\tilde{\rho }$ 为 $\tilde{\pi }$ 的占用度量，定义 $\bar{L}:\mathcal{D}\times {\mathbb{R}}^{\mathcal{S}\times \mathcal{A}}\to \mathbb{R}$ 为：
  ~  
$\bar{L}(\rho ,c)=-\bar{H}(\rho )-\psi (c)+\sum _{s,a}\rho (s,a)c(s,a)-\sum _{s,a}{\rho }_{{\pi }_E}(s,a)c(s,a)(33)$
  ~  
根据命题 3.1，以下关系成立：
  ~  
${\rho }_A\in \underset{\rho \in \mathcal{D}}{\mathrm{argmin}}\underset{c}{\max }\bar{L}(\rho ,c)(34)$
  ~  
$\tilde{c}\in \underset{c}{\mathrm{argmin}}\underset{\rho \in \mathcal{D}}{\max }\bar{L}(\rho ,c)(35)$
  ~  
$\tilde{\rho }\in \underset{\rho \in \mathcal{D}}{\mathrm{argmin}}\bar{L}(\rho ,\tilde{c})(36)$
  ~  
现在 $\mathcal{D}$ 是紧致compact 且凸的，${\mathbb{R}}^{\mathcal{S}\times \mathcal{A}}$ 是凸的；
更进一步，由于 $-\bar{H}$ 和 $\psi$ 的凸性，我们还得到 $\bar{L}(\cdot ,c)$ 对所有 $c$ 都是凸的， $\bar{L}(\rho ,\cdot )$ 对所有 $\rho$ 都是凹的。
因此，我们可以利用极大极小对偶性 [16]：
  ~  
$\underset{\rho \in \mathcal{D}}{\min }\underset{c\in \mathcal{C}}{\max }\bar{L}(\rho ,c)=\underset{c\in \mathcal{C}}{\max }\underset{\rho \in \mathcal{D}}{\min }\bar{L}(\rho ,c)(37)$
  ~  
因此，从式（34）和（35），$({\rho }_A,\tilde{c})$ 是 $\bar{L}$ 的鞍点，这意味着
  ~  
${\rho }_A\in \underset{\rho \in \mathcal{D}}{\mathrm{argmin}}\bar{L}(\rho ,\tilde{c})(38)$
  ~  
因为 $\bar{L}(\cdot ,c)$ 对于所有 $c$ 都是严格凸的（引理 3.1），式（36）和（38）意味着 ${\rho }_A=\tilde{\rho }$。
由于占用度量对应的策略是唯一的（命题 3.1），我们得到 ${\pi }_A=\tilde{\pi }$。

A.2 Section 5 的证明

在第 5 节的 Eq.(13) 中，我们描述了一个 cost 正则器 ${\psi }_{\text{GA}}$，引出最小化占用度量之间的 Jensen-Shannon 散度的模仿学习算法 (15) 。
为了证明我们选择 ${\psi }_{\text{GA}}$ 的合理性，我们展示了如何将某些替代损失函数surrogate loss functions $\varphi$（用于从占用度量 ${\rho }_{\pi }$ 和 ${\rho }_{{\pi }_E}$ 中得出的状态-动作对的二元分类）转换为 cost function 正则化器 $\psi$，其中 ${\psi }^{\ast }({\rho }_{\pi },{\rho }_{{\pi }_E})$ 是 $\varphi$ 的风险的期望 $R_{\varphi }({\rho }_{\pi },{\rho }_{{\pi }_E})$ 的最小值。
  ~  
$R_{\varphi }(\pi ,{\pi }_E)=\sum _{s,a}\underset{\gamma \in \mathbb{R}}{\min }{\rho }_{\pi }(s,a)\varphi (\gamma )+{\rho }_{{\pi }_E}(s,a)\varphi (-\gamma )(39)$
  ~  
具体来说，我们将把自己限制在严格递减的凸损失函数中。
Nguyen 等[19]证明了风险的 $R_{\varphi }$ 的最小值 与 $f$-散度之间的对应关系，其中 Jensen - Shannon 散度是一个特例。
因此，我们下面的构造可以生成任何模仿学习算法，只要 $f$-散度是由严格递减的凸代理 $\varphi$ 引起的，就可以最小化占用度量之间的 $f$-散度。

命题 A.1

Proposition A.1.
假设 $\varphi :\mathbb{R}\to \mathbb{R}$ 为严格递减凸函数。
令 $T$ 为 $-\varphi$ 的值域，定义 $g_{\varphi }:\mathbb{R}\to \overline{\mathbb{R}}$ 且 ${\psi }_{\varphi }:{\mathbb{R}}^{\mathcal{S}\times \mathcal{A}}\to \overline{\mathbb{R}}$ 为：
  ~  
$g_{\varphi }(x)=\{\begin{array}{ll}-x+\varphi (-{\varphi }^{-1}(-x))& \text{if}x\in T\\ +\infty & \text{otherwise}\end{array}(40)$
  ~  
${\psi }_{\varphi }(c)=\{\begin{array}{ll}\sum _{s,a}{\rho }_{{\pi }_E}(s,a)g_{\varphi }(c(s,a))& \text{if}c(s,a)\in T\text{for all}s,a\\ +\infty & \text{otherwise}\end{array}$
  ~  
那么，${\psi }_{\varphi }$ 是 closed，proper，convex凸的，且 $\text{RL}\circ {\text{IRL}}_{{\psi }_{\varphi }}({\pi }_E)=\arg {\min }_{\pi }-H(\pi )-R_{\varphi }({\rho }_{\pi },{\rho }_{{\pi }_E})$

〔 proper 函数：必不为 $-\infty$，且存在有限值 〕

来自链接

证明：
为了验证第一个论断，只需检查 $g_{\varphi }(x)=-x+\varphi (-{\varphi }^{-1}(-x))$ 是 closed、proper 和 凸的就足够了。
凸性来源于 $x\mapsto \varphi (-{\varphi }^{-1}(-x))$ 是凸的事实，因为它是一个凹函数后面跟着一个非递增 凸函数。
此外，因为 $T$ 是非空的，所以 $g_{\varphi }$ 是 proper。
为了证明 $g_{\varphi }$ 是 closed，注意因为 $\varphi$ 是严格递减且凸的，所以 $\varphi$ 的范围要么是 $\mathbb{R}$ 的全部，要么是对于某些 $b\in \mathbb{R}$的一个开区间 $(b,\infty )$。
如果 $\varphi$ 的范围是 $\mathbb{R}$，那么 $g_{\varphi }$ 在任何地方都是有限的，因此是 closed。
另一方面，如果 $\varphi$ 的范围是 $(b,\infty )$，那么当 $x\to \infty$ 时 $\varphi (x)\to b$，且当 $x\to -\infty$ 时 $\varphi (x)\to \infty$。
因此，当 $x\to b$ 时，${\varphi }^{-1}(-x)\to \infty$，且 $\varphi (-{\varphi }^{-1}(-x))\to \infty$，这意味着 当 $x\to b$，有 $g_{\varphi }(x)\to \infty$，这意味着 $g_{\varphi }$ 是 closed。

现在证明第二个论断。
根据命题 3.2， 我们只需确认 $-R_{\varphi }({\rho }_{\pi },{\rho }_{{\pi }_E})={\varphi }_{\varphi }^{\ast }({\rho }_{\pi },{\rho }_{{\pi }_E})$

命题 3.2 $\text{RL}\circ {\text{IRL}}_{\psi }({\pi }_E)=\arg {\min }_{\pi \in \Pi }-H(\pi )+{\psi }^{\ast }({\rho }_{\pi }-{\rho }_{{\pi }_E})(4)$
  ~  
论断 2：$\text{RL}\circ {\text{IRL}}_{{\psi }_{\varphi }}({\pi }_E)=\arg {\min }_{\pi }-H(\pi )-R_{\varphi }({\rho }_{\pi },{\rho }_{{\pi }_E})$

$\begin{array}{rl}{\psi }_{\varphi }^{\ast }({\rho }_{\pi }-{\rho }_{{\pi }_E})& =\underset{c\in \mathcal{C}}{\max }\sum _{s,a}({\rho }_{\pi }(s,a)-{\rho }_{{\pi }_E}(s,a))c(s,a)-\sum _{s,a}{\rho }_{{\pi }_E}(s,a)g_{\varphi }(c(s,a))(41)式(31)(32)(40)\\ & =\sum _{s,a}\underset{c\in T}{\max }({\rho }_{\pi }(s,a)-{\rho }_{{\pi }_E}(s,a))c-{\rho }_{{\pi }_E}(s,a)[-c+\varphi (-{\varphi }^{-1}(-c))](42)式(40)\\ & =\sum _{s,a}\underset{c\in T}{\max }{\rho }_{\pi }(s,a)c-{\rho }_{{\pi }_E}(s,a)\varphi (-{\varphi }^{-1}(-c))(43)合并，求和抵消\\ & =\sum _{s,a}\underset{\gamma \in \mathbb{R}}{\max }{\rho }_{\pi }(s,a)(-\varphi (\gamma ))-{\rho }_{{\pi }_E}(s,a)\varphi (-{\varphi }^{-1}(\varphi (\gamma )))(44)令c=-\varphi (\gamma )\\ & =\sum _{s,a}\underset{\gamma \in \mathbb{R}}{\max }{\rho }_{\pi }(s,a)(-\varphi (\gamma ))-{\rho }_{{\pi }_E}(s,a)\varphi (-\gamma )(45)\\ & =-R_{\varphi }({\rho }_{\pi },{\rho }_{{\pi }_E})(46)式(39)\end{array}$
  ~  
我们做了变量 $c\to -\varphi (\gamma )$ 的变换，因为 $T$ 是 $-\varphi$ 的取值范围。

展示了如何构造一个 cost function 正则器 ${\psi }_{\varphi }$，作为推论，我们得到了一个逻辑损失的 cost function 正则器，其最优风险期望是 Jensen-Shannon 散度，up to 一个常数。

推论 A.1.1

Corollary A.1.1. The cost regularizer (13)
  ~  
${\varphi }_{\text{GA}}(c)\triangleq \{\begin{array}{ll}{\mathbb{E}}_{{\pi }_E}[g(c(s,a))]& \text{if}c<0\\ +\infty & \text{otherwise}\end{array}$
  ~  
其中
$g(x)=\{\begin{array}{ll}-x-\log (1-e^x)& \text{if}x<0\\ +\infty & \text{otherwise}\end{array}$
  ~  
满足
  ~  
${\psi }_{\text{GA}}^{\ast }({\rho }_{\pi }-{\rho }_{{\pi }_E})=\underset{D\in (0,1{)}^{\mathcal{S}\times \mathcal{A}}}{\max }{\mathbb{E}}_{\pi }[\log (D(s,a))]+{\mathbb{E}}_{{\pi }_E}[\log (1-D(s,a))](47)$

证明：
使用逻辑损失 $\varphi (x)=\log (1+e^{-x})$，我们看到 Eq.(40) 简化为声明的 ${\psi }_{\text{GA}}$。
应用命题 A.1，我们得到
  ~  
$\begin{array}{rl}{\varphi }_{\text{GA}}^{\ast }({\rho }_{\pi }-{\rho }_{{\pi }_E})& =-R_{\varphi }({\rho }_{\pi },{\rho }_{{\pi }_E})(48)式(46)\\ & =\sum _{s,a}\underset{\gamma \in \mathbb{R}}{\max }{\rho }_{\pi }(s,a)\log \left(\frac{1}{1+e^{-\gamma }}\right)+{\rho }_{{\pi }_E}(s,a)\log \left(\frac{1}{1+e^{\gamma }}\right)(49)式(45),代入\varphi \\ & =\sum _{s,a}\underset{\gamma \in \mathbb{R}}{\max }{\rho }_{\pi }(s,a)\log \left(\frac{1}{1+e^{-\gamma }}\right)+{\rho }_{{\pi }_E}(s,a)\log (1-\frac{1}{1+e^{-\gamma }})(50)\\ & =\sum _{s,a}\underset{\gamma \in \mathbb{R}}{\max }{\rho }_{\pi }(s,a)\log (\sigma (\gamma ))+{\rho }_{{\pi }_E}(s,a)\log (1-\sigma (\gamma ))(51)其中\sigma (x)=\frac{1}{1+e^{-x}}是\text{sigmoid}函数，且\sigma \in (0,1)\\ & =\sum _{s,a}\underset{d\in (0,1)}{\max }{\rho }_{\pi }(s,a)\log d+{\rho }_{{\pi }_E}(s,a)\log (1-d)(52)令d=\sigma (\gamma )\\ & =\underset{D\in (0,1{)}^{\mathcal{S}\times \mathcal{A}}}{\max }\sum _{s,a}{\rho }_{\pi }(s,a)\log (D(s,a))+{\rho }_{{\pi }_E}(s,a)\log (1-D(s,a))(53)D(s,a)替换d\end{array}$
  ~  
这就是我们想要的表达式。

We conclude with a policy gradient formula for causal entropy.
我们得出因果熵的策略梯度公式。

引理 A.1 因果熵的策略梯度公式

Lemma A.1 因果熵梯度：
  ~  
${\nabla }_{\theta }{\mathbb{E}}_{{\pi }_{\theta }}[-\log {\pi }_{\theta }(a|s)]={\mathbb{E}}_{{\pi }_{\theta }}[{\nabla }_{\theta }\log {\pi }_{\theta }(a|s)Q_{\text{log}}(s,a)](54)$
  ~  
其中 $Q_{\text{log}}(\bar{s},\bar{a})={\mathbb{E}}_{{\pi }_{\theta }}[-\log {\pi }_{\theta }(a|s)|s_0=\bar{s},a_0=\bar{a}]$

证明： 对于占用度量 $\rho (s,a)$，定义 $\rho (s)={\sum }_a\rho (s,a)$。则
  ~  
$\begin{array}{rl}{\nabla }_{\theta }{\mathbb{E}}_{{\pi }_{\theta }}[-\log {\pi }_{\theta }(a|s)]& =-{\nabla }_{\theta }\sum _{s,a}{\rho }_{{\pi }_{\theta }}(s,a)\log {\pi }_{\theta }(a|s)期望展开\\ & =-\sum _{s,a}({\nabla }_{\theta }{\rho }_{{\pi }_{\theta }}(s,a))\log {\pi }_{\theta }(a|s)-\sum _s{\rho }_{{\pi }_{\theta }}(s)\sum _a{\pi }_{\theta }(a|s){\nabla }_{\theta }\log {\pi }_{\theta }(a|s)乘积的求导+补充推导①\\ & =-\sum _{s,a}({\nabla }_{\theta }{\rho }_{{\pi }_{\theta }}(s,a))\log {\pi }_{\theta }(a|s)-\sum _s{\rho }_{{\pi }_{\theta }}(s)\sum _a{\nabla }_{\theta }{\pi }_{\theta }(a|s)补充推导②\\ & 后一项中\sum _a{\nabla }_{\theta }{\pi }_{\theta }(a|s)={\nabla }_{\theta }\sum _a{\pi }_{\theta }(a|s)={\nabla }_{\theta }1=0\\ & =\sum _{s,a}({\nabla }_{\theta }{\rho }_{{\pi }_{\theta }}(s,a))(-\log {\pi }_{\theta }(a|s))\end{array}$
  ~  
它是 具有固定 cost function $c_{\text{log}}(s,a)\triangleq -\log {\pi }_{\theta }(a|s)$ 的 RL 的策略梯度。
所得公式由 $c_{\text{log}}$ 的标准策略梯度公式给出

补充推导 ①：
由 定义 $\rho (s)={\sum }_a\rho (s,a)$，

${\pi }_{\theta }(a|s)=\frac{{\rho }_{{\pi }_{\theta }}(s,a)}{{\sum }_{a^{\prime }}{\rho }_{{\pi }_{\theta }}(s,a^{\prime })}=\frac{{\rho }_{{\pi }_{\theta }}(s,a)}{{\rho }_{{\pi }_{\theta }}(s)}$

• $\sum _{s,a}{\rho }_{{\pi }_{\theta }}(s,a)=\sum _{s,a}{\rho }_{{\pi }_{\theta }}(s){\pi }_{\theta }(a|s)=\sum _s{\rho }_{{\pi }_{\theta }}(s)\sum _a{\pi }_{\theta }(a|s)$

• $\sum _a{\pi }_{\theta }(a|s)=\sum _a\frac{{\rho }_{{\pi }_{\theta }}(s,a)}{{\rho }_{{\pi }_{\theta }}(s)}=\frac{\sum _a{\rho }_{{\pi }_{\theta }}(s,a)}{{\rho }_{{\pi }_{\theta }}(s)}=\frac{{\rho }_{{\pi }_{\theta }}(s)}{{\rho }_{{\pi }_{\theta }}(s)}=1$

补充推导 ②：
${\pi }_{\theta }(a|s){\nabla }_{\theta }\log {\pi }_{\theta }(a|s)={\pi }_{\theta }(a|s)\cdot \frac{1}{{\pi }_{\theta }(a|s)}{\nabla }_{\theta }{\pi }_{\theta }(a|s)={\nabla }_{\theta }{\pi }_{\theta }(a|s)$