Pular para o conteúdo

Medidas de risco

Este capítulo define a formulação da PDDE (SDDP) avessa ao risco usada no Novo Modelo, baseada no Valor em Risco Condicional (CVaR). Trata da definição do CVaR, da medida de risco por combinação convexa, das representações duais, do teorema do subgradiente avesso ao risco, da equação de Bellman modificada com fator de desconto, da geração de cortes avessa ao risco e das condições em que os limites são válidos sob uma medida de risco.

Para as convenções de notação (conjuntos de índices, parâmetros, variáveis de decisão, variáveis duais), ver Convenções de notação.

Para a visão por entidade deste capítulo, veja Aversão a risco (CVaR).

A PDDE neutra ao risco minimiza o custo esperado, o que pode levar a políticas com desempenho ruim em cenários adversos. A PDDE avessa ao risco incorpora uma medida de risco coerente (tipicamente o CVaR) para proteger contra riscos de cauda, preservando as propriedades de convexidade necessárias para a geração de cortes válidos.

Distribuição de custo f(Z)f(Z) para uma lei Gama assimétrica à direita, com E[Z]\mathbb{E}[Z], VaRα\mathrm{VaR}_\alpha e CVaRα\mathrm{CVaR}_\alpha marcados e a cauda α\alpha dos piores resultados sombreada. A medida por combinação convexa ρλ,α[Z]=(1−λ) E[Z]+λ CVaRα[Z]\rho^{\lambda,\alpha}[Z] = (1-\lambda)\,\mathbb{E}[Z] + \lambda\,\mathrm{CVaR}_\alpha[Z] interpola entre a média neutra ao risco e a cauda. Os três marcadores são obtidos numericamente a partir da função densidade de probabilidade.

Para uma variável aleatória ZZ que representa custo e uma fração de cauda α∈(0,1]\alpha \in (0, 1]:

CVaRα(Z)=min⁡η∈R{η+1αE[(Z−η)+]}\text{CVaR}_\alpha(Z) = \min_{\eta \in \mathbb{R}} \left\{ \eta + \frac{1}{\alpha} \mathbb{E}\left[(Z - \eta)^+\right] \right\}

em que (Z−η)+=max⁡(0,Z−η)(Z - \eta)^+ = \max(0, Z - \eta) representa o excesso de custo acima do limiar η\eta.

Interpretação: o CVaRα_\alpha é o custo esperado na fração α\alpha dos piores cenários.

α\alphaPostura de riscoSignificado
1.0Neutra ao riscoCVaR1_1 = E[Z]\mathbb{E}[Z] (valor esperado)
0.5Moderadamente avessa ao riscoMédia dos 50% piores resultados
0.2Avessa ao riscoMédia dos 20% piores resultados
0.05Altamente avessa ao riscoMédia dos 5% piores resultados

O Novo Modelo usa uma combinação convexa do valor esperado e do CVaR, com a estrutura da medida EAVaR do SDDP.jl (Dowson & Kapelevich, 2021), em que λ\lambda pondera o termo do CVaR:

ρλ,α[Z]=(1−λ)E[Z]+λ⋅CVaRα[Z]\rho^{\lambda, \alpha}[Z] = (1 - \lambda) \mathbb{E}[Z] + \lambda \cdot \text{CVaR}_\alpha[Z]

em que:

  • λ∈[0,1]\lambda \in [0, 1]: peso de aversão ao risco (0 = neutro ao risco, 1 = CVaR puro)
  • α∈(0,1]\alpha \in (0, 1]: fração de cauda do CVaR

Essa medida é às vezes chamada de EAVaR (Expectation + Average Value-at-Risk — valor esperado mais valor em risco médio). O EAVaR(lambda, beta) do SDDP.jl é λSDDP.jl E[Z]+(1−λSDDP.jl) AV@Rβ[Z]\lambda_{\text{SDDP.jl}}\, \mathbb{E}[Z] + (1 - \lambda_{\text{SDDP.jl}})\, \text{AV@R}_\beta[Z], com o peso no valor esperado; assim, a mesma medida tem aqui λ=1−λSDDP.jl\lambda = 1 - \lambda_{\text{SDDP.jl}}, e sua fração de cauda β\beta é α\alpha.

4 Representação dual das medidas de risco convexas

Seção intitulada “4 Representação dual das medidas de risco convexas”

As medidas de risco convexas têm uma representação dual essencial para o cálculo dos cortes avessos ao risco:

F[Z]=sup⁡μ∈M(p)Eμ[Z]−ψ(p,μ)\mathbb{F}[Z] = \sup_{\mu \in \mathcal{M}(p)} \mathbb{E}_\mu[Z] - \psi(p, \mu)

em que:

  • M(p)⊆P\mathcal{M}(p) \subseteq \mathcal{P} é um subconjunto convexo do simplex de probabilidades
  • ψ(p,μ)\psi(p, \mu) é uma função de penalidade convexa (a penalidade mínima)
  • P={p≥0:∑ωpω=1}\mathcal{P} = \{p \geq 0 : \sum_{\omega} p_\omega = 1\}

Interpretação: a representação dual calcula o valor esperado em relação ao pior vetor de probabilidades μ\mu dentro do conjunto M\mathcal{M}, descontado um termo de penalidade ψ(p,μ)\psi(p, \mu).

Para o CVaRα_\alpha, a representação dual é:

CVaRα[Z]=sup⁡μ∈Mα(p)Eμ[Z]\text{CVaR}_\alpha[Z] = \sup_{\mu \in \mathcal{M}_\alpha(p)} \mathbb{E}_\mu[Z]

em que o conjunto de risco Mα(p)\mathcal{M}_\alpha(p) é:

Mα(p)={μ≥0:∑ωμω=1,  μω≤pωα  ∀ω}\mathcal{M}_\alpha(p) = \left\{\mu \geq 0 : \sum_\omega \mu_\omega = 1, \; \mu_\omega \leq \frac{p_\omega}{\alpha} \; \forall \omega \right\}

A penalidade é ψ(p,μ)=0\psi(p, \mu) = 0 para o CVaR (sem termo de penalidade).

Interpretação: o CVaR atribui mais peso de probabilidade aos piores resultados, com cada cenário recebendo no máximo pω/αp_\omega / \alpha de massa de probabilidade. Para α\alpha pequeno, apenas os piores cenários recebem peso significativo.

Para a combinação convexa ρλ,α[Z]=(1−λ)E[Z]+λ⋅CVaRα[Z]\rho^{\lambda, \alpha}[Z] = (1-\lambda)\mathbb{E}[Z] + \lambda \cdot \text{CVaR}_\alpha[Z]:

MEAVaR(p)={μ:∑ωμω=1,  (1−λ) pω≤μω≤(1−λ) pω+λ pωα    ∀ω}\mathcal{M}^{EAVaR}(p) = \left\{\mu : \sum_\omega \mu_\omega = 1,\; (1-\lambda)\, p_\omega \leq \mu_\omega \leq (1-\lambda)\, p_\omega + \frac{\lambda\, p_\omega}{\alpha} \;\; \forall \omega \right\}

De forma equivalente, MEAVaR(p)\mathcal{M}^{EAVaR}(p) é o conjunto dos μ=(1−λ) p+λ q\mu = (1-\lambda)\, p + \lambda\, q com q∈Mα(p)q \in \mathcal{M}_\alpha(p): o valor esperado contribui com a parcela fixa (1−λ) p(1-\lambda)\, p, e o termo do CVaR com a parcela λ q\lambda\, q.

O teorema-chave para o cálculo dos cortes avessos ao risco:

Aplicação à geração de cortes: na PDDE, os subgradientes β(x~,ω)\beta(\tilde{x}, \omega) são os coeficientes de corte βt(ω)\beta_t(\omega) obtidos das variáveis duais do PL (ver Gerenciamento de cortes §2). Os coeficientes dos cortes avessos ao risco são calculados substituindo as probabilidades nominais p(ω)p(\omega) pelas probabilidades ajustadas ao risco μ∗\mu^*:

βˉt−1,h=∑ω∈Ωtμω∗⋅βt,h(ω)\bar{\beta}_{t-1,h} = \sum_{\omega \in \Omega_t} \mu^*_\omega \cdot \beta_{t,h}(\omega)

em que μ∗\mu^* é o vetor de probabilidades dual ótimo, calculado a partir dos custos dos cenários {Qt(x^,ω)}ω∈Ωt\{Q_t(\hat{x}, \omega)\}_{\omega \in \Omega_t}.

A função de valor avessa ao risco com fator de desconto dd satisfaz, para t=2,…,Tt = 2, \ldots, T:

Vt(xt−1)=ρλt−1,αt−1[min⁡xt,ut{ct(xt,ut)+dt→t+1⋅Vt+1(xt):(xt,ut)∈Xt(xt−1,ω)}]V_t(x_{t-1}) = \rho^{\lambda_{t-1}, \alpha_{t-1}}\left[\min_{x_t, u_t} \left\{ c_t(x_t, u_t) + d_{t \to t+1} \cdot V_{t+1}(x_t) : (x_t, u_t) \in \mathcal{X}_t(x_{t-1}, \omega) \right\}\right]

A medida ρt−1=ρλt−1,αt−1\rho_{t-1} = \rho^{\lambda_{t-1}, \alpha_{t-1}} do estágio t−1t-1 agrega as aberturas ω∈Ωt\omega \in \Omega_t do estágio tt. Os cortes que aproximam VtV_t são armazenados no estágio t−1t-1, e a medida do estágio que detém um corte agrega nele as aberturas do estágio seguinte (Gerenciamento de cortes §3). Essa indexação tem duas extremidades. A medida do último estágio ρT\rho_T não tem aberturas posteriores a agregar e, portanto, não entra em nenhuma função de valor. A medida do primeiro estágio ρ1\rho_1 também agrega as aberturas do próprio primeiro estágio ω∈Ω1\omega \in \Omega_1: a equação vale em t=1t = 1 com ρλ1,α1\rho^{\lambda_1, \alpha_1} como medida de agregação, e V1(x0)V_1(x_0) é o valor aninhado que o limite inferior da §9 limita por baixo.

Isso modifica a recursão de Bellman padrão de duas formas:

  1. A medida de risco substitui o valor esperado: ρλt−1,αt−1[⋅]\rho^{\lambda_{t-1}, \alpha_{t-1}}[\cdot] substitui E[⋅]\mathbb{E}[\cdot]
  2. Fator de desconto sobre o custo futuro: dt→t+1⋅Vt+1(xt)d_{t \to t+1} \cdot V_{t+1}(x_t) desconta a função de custo futuro (ver Formulação da taxa de desconto §2)

No subproblema de PL do estágio tt, a variável de custo futuro θ\theta aparece na função objetivo como dt→t+1⋅θd_{t \to t+1} \cdot \theta (ver Formulação da taxa de desconto §4). Os cortes limitam θ\theta (e não d⋅θd \cdot \theta), de modo que o fator de desconto multiplica θ\theta apenas na função objetivo — exatamente como no caso neutro ao risco.

Para cada estado visitado x^t−1\hat{x}_{t-1}, calcula-se o corte avesso ao risco da seguinte forma:

Passo 1: Resolver os subproblemas para todas as realizações ω∈Ωt\omega \in \Omega_t:

Qt(x^t−1,ω)=min⁡xt,ut{ct(xt,ut)+dt→t+1⋅θt:constraints}Q_t(\hat{x}_{t-1}, \omega) = \min_{x_t, u_t} \left\{ c_t(x_t, u_t) + d_{t \to t+1} \cdot \theta_t : \text{constraints} \right\}

Extrair as soluções duais βt(ω)\beta_t(\omega) e calcular os coeficientes de corte por cenário:

  • Intercepto: β0,t(ω)=Qt(x^t−1,ω)−βt(ω)⊤x^t−1\beta_{0,t}(\omega) = Q_t(\hat{x}_{t-1}, \omega) - \beta_t(\omega)^\top \hat{x}_{t-1}
  • Coeficientes: βt(ω)\beta_t(\omega) — derivados das variáveis duais do PL (ver Gerenciamento de cortes §2)

Passo 2: Calcular os pesos dos cenários ajustados ao risco μω∗\mu^*_\omega com a medida do estágio t−1t-1, o estágio que detém o corte (§6), (λ,α)=(λt−1,αt−1)(\lambda, \alpha) = (\lambda_{t-1}, \alpha_{t-1}).

Cada cenário ω\omega tem um limite superior de probabilidade:

μˉω=(1−λ) pω+λ pωα\bar{\mu}_\omega = (1 - \lambda) \, p_\omega + \frac{\lambda \, p_\omega}{\alpha}

Como μˉω>pω\bar{\mu}_\omega > p_\omega quando λ>0\lambda > 0 e α<1\alpha < 1, a capacidade total ∑ωμˉω>1\sum_\omega \bar{\mu}_\omega > 1, de modo que nem toda abertura atinge o seu teto. Os pesos são construídos a partir dos pesos de cauda q∗q^*, os pesos do CVaRα\text{CVaR}_\alpha: o vetor de probabilidades em Mα(p)\mathcal{M}_\alpha(p) (§4.1) que maximiza o custo esperado das aberturas, obtido por um procedimento guloso:

  1. Ordenar as aberturas pelo custo Qt(x^t−1,ω)Q_t(\hat{x}_{t-1}, \omega) em ordem decrescente
  2. Percorrer a lista ordenada, atribuindo a cada abertura qω∗=pω/αq^*_\omega = p_\omega / \alpha
  3. Quando a massa acumulada atinge 1, a abertura corrente recebe o restante, e toda abertura mais barata recebe qω∗=0q^*_\omega = 0

Os pesos ajustados ao risco combinam os pesos de cauda com as probabilidades nominais:

μ∗=(1−λ) p+λ q∗\mu^* = (1-\lambda)\, p + \lambda\, q^*

μˉω\bar{\mu}_\omega é o teto de μ∗\mu^*: μ∗\mu^* o atinge, μω∗=μˉω\mu^*_\omega = \bar{\mu}_\omega, em toda abertura que q∗q^* preenche totalmente.

Quatro aberturas equiprováveis com custos 10, 20, 30 e 40, com α=λ=0.5\alpha = \lambda = 0.5: toda abertura mantém o piso (1−λ) pω=0.125(1-\lambda)\, p_\omega = 0.125 no seu peso ajustado ao risco μω∗\mu^*_\omega, as duas aberturas mais caras atingem o teto μˉω=0.375\bar{\mu}_\omega = 0.375, e os pesos valoram as aberturas em 3030.

Passo 3: Calcular os coeficientes dos cortes avessos ao risco usando μ∗\mu^* (justificado pelo teorema da §5):

βˉ0,t−1=∑ω∈Ωtμω∗⋅β0,t(ω)\bar{\beta}_{0,t-1} = \sum_{\omega \in \Omega_t} \mu^*_\omega \cdot \beta_{0,t}(\omega) βˉt−1=∑ω∈Ωtμω∗⋅βt(ω)\bar{\beta}_{t-1} = \sum_{\omega \in \Omega_t} \mu^*_\omega \cdot \beta_t(\omega)

Passo 4: Acrescentar o corte ao estágio t−1t-1:

θt−1≥βˉ0,t−1+βˉt−1⊤xt−1\theta_{t-1} \geq \bar{\beta}_{0,t-1} + \bar{\beta}_{t-1}^\top x_{t-1}

A simulação de Monte Carlo não consegue estimar diretamente o limite superior em problemas com CVaR porque:

  1. O CVaR é calculado sobre a distribuição inteira, e não sobre médias amostrais
  2. O η\eta ótimo (limiar do VaR) muda com a política

O limite superior determinístico exato e o critério de parada gap, que o compara ao limite inferior (Critérios de parada §5), exigem uma simulação forward enumerada juntamente com uma medida de risco uniforme em todos os estágios — o valor esperado em todos os estágios ou uma mesma medida CVaR (o mesmo peso de aversão ao risco λ\lambda e a mesma fração de cauda α\alpha) em todos os estágios. Sob um CVaR uniforme, o limite exato não é uma média dos custos dos caminhos ponderada pelas probabilidades, mas uma recursão de risco aninhada e temporalmente consistente sobre a árvore enumerada, agregada com a própria ponderação CVaR do estudo, de modo que delimita por cima o limite inferior avesso ao risco (ver Avaliação do limite superior §2). Critérios de parada §5 define uma medida variável por estágio e estabelece a rejeição, na preparação do estudo, de um critério gap sob tal medida.

Sob uma simulação forward amostrada, o Novo Modelo não calcula limite superior exato. Sob uma simulação forward enumerada com medida variável por estágio, reporta o custo exato dos caminhos ponderado pelas probabilidades, que não é um limite superior do objetivo avesso ao risco. A aproximação interna do apêndice de Avaliação do limite superior é um projeto reservado.

9 Validade do limite inferior com medidas de risco

Seção intitulada “9 Validade do limite inferior com medidas de risco”

Sob uma medida de estágio coerente, que é monótona e convexa, como a ρλ,α\rho^{\lambda, \alpha} da §3, todo corte agregado fica abaixo da função de custo futuro aninhada ajustada ao risco Vt(xt−1)V_t(x_{t-1}) da §6. Pelo teorema da §5, o corte da §7 é um hiperplano suporte, no seu estado visitado, da medida do estágio t−1t-1 aplicada aos custos das aberturas do estágio tt, que é convexa no estado de entrada. Esses custos das aberturas incorporam os cortes atuais no lugar da função de custo futuro do estágio seguinte, e esses cortes ficam abaixo dela por indução a partir do último estágio, de modo que a monotonicidade da medida mantém o novo corte abaixo de Vt(xt−1)V_t(x_{t-1}) em todo estado de entrada. O limite inferior do treinamento (training) z‾k\underline{z}^k, a medida do primeiro estágio aplicada aos objetivos das suas aberturas com esses cortes, é, portanto, um limite inferior válido do valor ótimo aninhado ajustado ao risco do modelo tal como treinado, quer a medida varie ou não entre estágios, e não decresce em kk, já que o problema sobre o qual é avaliado mantém todo corte uma vez acrescentado.

A validade se apoia nas hipóteses da Camada 1 (Philpott, de Matos & Finardi, 2013), entre elas uma função de custo futuro convexa no estado de entrada, que os métodos de truncamento de Métodos de tratamento de afluências negativas §7 violam nas componentes de defasagem de afluência sob um modelo PAR com termos de defasagem; cortes que abrangem todas as componentes de estado das quais a função de custo futuro depende; uma função de custo futuro não negativa, já que a variável de custo futuro é limitada inferiormente por zero; e uma função terminal fixa. A Camada 2 estabelece a convergência de z‾k\underline{z}^k para esse valor ótimo no caso de medida de valor esperado em todos os estágios.

O que falta a uma execução avessa ao risco sob uma simulação forward amostrada é uma estimativa válida do limite superior. A média dos custos dos caminhos amostrados estima o custo esperado da política, e não o seu valor aninhado ajustado ao risco; sob ρλ,α\rho^{\lambda, \alpha}, esse valor é pelo menos igual ao custo esperado, de modo que a média amostral pode ficar abaixo de z‾k\underline{z}^k e não certifica nada. O certificado é o limite aninhado exato de uma árvore enumerada sob uma medida uniforme entre estágios (Camada 3; ver Avaliação do limite superior).

FinalidadeMétodo
Monitoramento da convergênciaEstagnação do limite (bound stalling) sobre z‾k\underline{z}^k, um limite inferior válido sob as hipóteses da Camada 1 — ver Critérios de parada
Otimalidade certificadaO critério de gap em relação ao limite aninhado exato de uma simulação forward enumerada sob uma medida uniforme — ver Avaliação do limite superior
Avaliação da políticaA simulação reporta a distribuição de custos da política; ela não limita nenhum valor ajustado ao risco

A metodologia acima define a medida de risco, seus pesos e os limites que ela mantém válidos; as abas abaixo tratam de como o Novo Modelo configura a medida por estágio e quais pesos aplica.

O Novo Modelo lê a medida de risco de cada estágio no campo risk_measure da entrada do estágio em stages.json. Esta aba é a referência de configuração em nível de campo; a medida que ela seleciona, ρλ,α\rho^{\lambda,\alpha}, é definida em §3 Medida de risco por combinação convexa; os pesos que o Novo Modelo aplica às aberturas estão descritos na aba Notas de implementação. A referência completa do arquivo é stages.json.

ValorSignificado
"expectation"Neutro ao risco: cada abertura é ponderada por sua probabilidade. É o valor assumido quando risk_measure está ausente; qualquer outra string é rejeitada na carga.
{"cvar": {"alpha": α, "lambda": λ}}A combinação convexa do valor esperado e do CVaR com fração de cauda alpha, com peso lambda no CVaR e 1 - lambda no valor esperado.

O objeto cvar recebe as duas chaves abaixo, ambas obrigatórias; um objeto sem alguma delas gera um ParseError.

CampoTipoFaixaDescrição
alphanumber(0, 1]A fração de cauda do CVaR: a fração alpha dos piores resultados entra no CVaR. 1 corresponde ao valor esperado: todas as aberturas passam a contar na cauda.
lambdanumber[0, 1]O peso do termo de CVaR: 0 corresponde ao valor esperado e 1 ao CVaR puro.

As duas faixas são verificadas na carga: um valor fora da faixa gera um SchemaViolation em stages.json.

A medida pode variar de um estágio para outro. Este trecho de stages.json reduz lambda do primeiro para o segundo estágio e atribui ao terceiro estágio o valor esperado:

{
"stages": [
{
"id": 0,
"risk_measure": { "cvar": { "alpha": 0.5, "lambda": 0.5 } }
},
{
"id": 1,
"risk_measure": { "cvar": { "alpha": 0.5, "lambda": 0.25 } }
},
{
"id": 2,
"risk_measure": "expectation"
}
]
}

lambda: 0 pondera cada abertura por sua probabilidade, como "expectation", qualquer que seja o alpha, e é tratado como "expectation" pela regra do gap. A regra do gap exige uma única medida efetiva em todos os estágios (Gap de otimalidade).

O risk_measure de um estágio pondera as aberturas do estágio seguinte nos cortes que esse estágio armazena, e o risk_measure do primeiro estágio também pondera as aberturas do próprio primeiro estágio no limite inferior. O risk_measure do último estágio do estudo não entra em nenhum corte, mas é considerado quando a regra do gap verifica se a medida é a mesma em todos os estágios.

  • Convenções de notação — definições de símbolos, notação das variáveis duais e convenções de sinal
  • Algoritmo da PDDE — recursão de Bellman e estrutura das simulações forward/backward modificadas pelas medidas de risco
  • Gerenciamento de cortes — extração das variáveis duais e cálculo dos coeficientes dos cortes; a agregação avessa ao risco substitui p(ω)p(\omega) por μω∗\mu^*_\omega (§7)
  • Critérios de parada — a estagnação do limite é adequada, em geral, ao monitoramento da convergência avessa ao risco; o critério de gap está disponível sob uma medida avessa ao risco somente quando esse CVaR é uniforme entre estágios e a simulação forward é enumerada
  • Formulação da taxa de desconto — convenção do fator de desconto dd e equação de Bellman descontada
  • Modos de horizonte — interação das medidas de risco com o projeto reservado de grafo da política (policy graph) cíclico
  • Avaliação do limite superior — o limite exato aninhado enumerado para um CVaR uniforme e a aproximação interna reservada no seu apêndice