Pular para o conteúdo

Critérios de parada

Este capítulo define os critérios de parada disponíveis no solver PDDE (SDDP) do Novo Modelo e a forma como se combinam. Abrange o limite de iterações, o limite de tempo, a estagnação do limite (bound stalling) e o critério de parada recomendado, baseado no gap.

A PDDE pode terminar com base em múltiplos critérios. Cada critério é avaliado de forma independente, e stopping_mode determina como eles se combinam:

  • "any": para quando qualquer critério é acionado (lógica OU)

  • "all": para quando todos os critérios, exceto os limites de iterações, são acionados na mesma iteração (lógica E); o maior limite de iterações limita a execução

Avaliação:

STOP  ⟺  k≥kmax\text{STOP} \iff k \geq k_{max}

em que kk é a iteração corrente e kmaxk_{max} é o limite.

Finalidade: limite de segurança para evitar laços infinitos.

Avaliação:

STOP  ⟺  telapsed≥tmax\text{STOP} \iff t_{elapsed} \geq t_{max}

O tempo de relógio (wall-clock) é verificado ao final de cada iteração.

Avaliação:

Acompanha-se o limite inferior z‾k\underline{z}^k ao longo das iterações. Uma vez registrados τ\tau limites, calcula-se a melhoria relativa na janela dos últimos τ\tau limites inferiores registrados, z‾k−τ+1,…,z‾k\underline{z}^{k-\tau+1}, \ldots, \underline{z}^k (o parâmetro iterations):

Δk=z‾k−z‾k−τ+1max⁡(1,∣z‾k∣)\Delta_k = \frac{\underline{z}^k - \underline{z}^{k-\tau+1}}{\max(1, |\underline{z}^k|)}

Condição de parada:

STOP  ⟺  ∣Δk∣<εstall\text{STOP} \iff |\Delta_k| < \varepsilon_{\text{stall}}

em que εstall\varepsilon_{\text{stall}} é a tolerância de estagnação do limite sobre a melhoria relativa, definida pelo parâmetro tolerance do critério.

Interpretação: o limite atingiu um patamar — a melhoria relativa ao longo dos últimos τ\tau limites inferiores registrados está abaixo da tolerância especificada, o que indica retornos decrescentes de iterações adicionais.

Evolução ilustrativa dos limites ao longo das iterações kk. Nos dois painéis, o limite inferior z‾k\underline{z}^k cresce monotonicamente (o conjunto de cortes é somente de acréscimo). À esquerda, uma simulação forward amostrada: o limite superior zˉk\bar{z}^k é uma estimativa, e sua faixa de confiança reflete um erro amostral que persiste à medida que o gap se fecha, de modo que, no fim da execução, a faixa abrange o limite inferior e nada certifica. À direita, uma simulação forward enumerada: o limite superior exato não tem faixa, permanece acima do limite inferior e converge para ele — a comparação que o critério de gap testa.

Na iteração kk, o gap de otimalidade (optimality gap) é a diferença entre o limite superior zˉk\bar{z}^k e o limite inferior z‾k\underline{z}^k, qualquer que seja o mecanismo que fornece o limite superior — a estimativa estatística de uma simulação forward amostrada ou o limite exato de uma enumerada (Avaliação do limite superior):

gapk=zˉk−z‾k\text{gap}^k = \bar{z}^k - \underline{z}^k

O gap percentual o normaliza pelo limite inferior:

100⋅gapkmax⁡(1,∣z‾k∣)100 \cdot \frac{\text{gap}^k}{\max(1, |\underline{z}^k|)}

Ambos os limites estão em unidades monetárias não escalonadas — as unidades de custo originais, com o escalonamento de custos do PL do estágio desfeito —, de modo que gapk\text{gap}^k está em unidades monetárias e o gap percentual é adimensional. O denominador é o módulo do limite inferior, nunca do limite superior, com piso de uma unidade monetária para que a razão permaneça limitada quando o limite inferior está próximo de zero. O gap reportado a cada iteração e o ramo relativo do critério de gap abaixo compartilham esse denominador, de modo que os dois nunca divergem sobre o significado de “gap relativo”.

O critério de gap encerra o treinamento (training) assim que o limite superior exato converge para o limite inferior.

Avaliação:

O critério avalia o gap de otimalidade com o limite superior exato, zˉk=zˉexact\bar{z}^k = \bar{z}_{\text{exact}}, e o compara truncado em zero, max⁡(0,  gapk)\max(0,\; \text{gap}^k); o truncamento pertence à comparação do critério, não à definição do gap. Em aritmética exata, o limite superior exato satisfaz zˉ≥z‾\bar{z} \geq \underline{z} sempre que o limite inferior é válido (Gerenciamento de cortes — Camada 1), e o truncamento então apenas absorve ruído de ponto flutuante depois que o gap se fechou até (numericamente) zero. Em um modelo PAR com termos de defasagem (ordem acima de zero ou componente anual), o limite inferior pode exceder o limite superior exato com um método de truncamento de Métodos de tratamento de afluências negativas §7, ou onde um período de defasagem abrange vários estágios e sua soma parcial difere entre caminhos (Estudos com múltiplas resoluções §2.1); o truncamento interpreta esse gap negativo como fechado, de modo que o critério pode parar sem certificado de otimalidade: o limite superior exato é o custo de uma política viável, mas um limite inferior inválido não limita o ótimo por baixo.

Condição de parada — dois ramos combinados por disjunção (qualquer um é suficiente):

STOP  ⟺  max⁡(0,  gapk)≤εabsor100⋅max⁡(0,  gapk)/max⁡(1,∣z‾k∣)≤εrel\text{STOP} \iff \max(0,\; \text{gap}^k) \leq \varepsilon_{\text{abs}} \quad\text{or}\quad 100 \cdot \max(0,\; \text{gap}^k) / \max(1, |\underline{z}^k|) \leq \varepsilon_{\text{rel}}

A tolerância absoluta εabs\varepsilon_{\text{abs}}, em unidades monetárias, é definida pelo parâmetro tolerance do critério. A tolerância relativa εrel\varepsilon_{\text{rel}}, em percentual, é definida pelo parâmetro relative_tolerance do critério. Qualquer uma das tolerâncias pode ser configurada isoladamente; quando ambas são configuradas, o treinamento para assim que qualquer um dos ramos é satisfeito.

Admissibilidade: a comparação acima só é válida quando o limite superior utilizado é o limite exato, e não uma estimativa estatística. As duas condições a seguir devem ser satisfeitas:

  • A simulação forward enumera a árvore de cenários exaustivamente, em vez de amostrá-la, de modo que o limite superior é exato — sem erro amostral — e não uma aproximação amostrada.
  • A medida de risco é uniforme em todos os estágios: ou o valor esperado em todos os estágios, ou uma mesma medida CVaR (o mesmo peso de aversão ao risco λ\lambda e a mesma fração de cauda α\alpha) em todos os estágios. Sob o valor esperado, o limite exato é o custo ponderado pelas probabilidades ∑ℓP(ℓ) C(ℓ)\sum_{\ell} P(\ell)\, C(\ell) sobre todos os cenários ℓ\ell; sob um CVaR uniforme, é o limite de risco aninhado e consistente no tempo sobre a mesma árvore enumerada (Avaliação do limite superior §2). Uma medida variável por estágio — o par (λt,αt)(\lambda_t, \alpha_t) diferindo entre estágios, sendo que todo estágio com λt=0\lambda_t = 0 corresponde ao valor esperado, qualquer que seja seu αt\alpha_t — não é admissível, pois nesse caso nenhuma medida única agrega a árvore.

Com uma simulação forward amostrada, ou com uma medida variável por estágio, a comparação com o limite exato da qual o critério depende não está disponível, e o critério de gap é rejeitado na preparação da execução com um erro de validação nomeado, em vez de ser avaliado silenciosamente com base em uma comparação inconsistente.

Por que é recomendado: diferentemente da estagnação do limite (um indicador indireto de convergência) ou dos limites de iterações e de tempo (limites de segurança sem relação com a convergência), um gap fechado é um certificado direto de otimalidade no regime de limite exato que o critério exige — uma simulação forward enumerada com uma medida de risco uniforme entre os estágios — sobre um limite inferior válido.

A decisão de admissibilidade avalia as duas condições em ordem: primeiro, se a simulação forward é enumerada; depois, se a medida é a mesma em todos os estágios. Satisfeitas ambas, o critério de gap é admitido e passa a comparar o limite inferior com o limite superior exato, de modo que um gap fechado certifica a otimalidade sob as hipóteses da Camada 3; se qualquer uma falhar, o critério é rejeitado na preparação — nesse caso, encerre a execução por estagnação do limite e limite de iterações, como em Execuções amostradas.

Conjunto de critérioscom critério de gapSimulação forwardenumerada?Mesma medidaem todo estágio?Critério de gap admitidolimite exato, certificadoCritério de gap rejeitado na preparaçãoparar por estagnação do limite, limite de iterações simnãosimnão

Com uma simulação forward amostrada, o critério de gap não está disponível. Encerre uma execução amostrada por estagnação do limite (§4) e limite de iterações (§2), combinados de modo que o primeiro a ser acionado encerre a execução (§7). O limite superior de uma execução amostrada é uma estimativa estatística: seu intervalo de confiança descreve o custo médio da simulação forward amostrada, e nenhuma estimativa amostral certifica a otimalidade (Camada 3).

Uma solicitação de encerramento finaliza o laço de treinamento em uma fronteira de iteração, com a política da última iteração concluída persistida.

Garantia: a política no momento do encerramento é utilizável. O laço lê uma solicitação uma vez por iteração, após o cálculo do limite inferior e antes da decisão de parada, e conclui essa iteração antes de parar, de modo que os cortes e limites de todas as iterações executadas são registrados e nenhuma iteração parcial é deixada para trás. A garantia de encerramento controlado é um caso particular do compromisso mais amplo de rastreabilidade descrito em Determinismo e rastreabilidade §5: os artefatos de saída estão sempre em estado consistente, seja porque a execução atingiu um critério de parada configurado, seja porque uma solicitação de encerramento a finalizou.

Incondicional: o encerramento controlado não é um critério configurável; é uma propriedade de segurança incondicional do laço de treinamento. Ele não é listado em stopping_rules na configuração do caso e não está sujeito à lógica de combinação de stopping_mode. As interfaces que podem emitir uma solicitação estão listadas na aba Configurar, em Implementação no Novo Modelo.

Compromisso: uma solicitação produz efeito em uma fronteira de iteração, e a iteração que a lê é executada até o fim; assim, a solicitação produz efeito após a conclusão da iteração que a lê, e não no momento em que é emitida. A alternativa (encerramento imediato) deixaria o estado da política inconsistente.

Modo: "any" (padrão):

STOP  ⟺  Rule1∨Rule2∨…\text{STOP} \iff \text{Rule}_1 \lor \text{Rule}_2 \lor \ldots

O primeiro critério acionado provoca o encerramento.

Modo: "all":

STOP  ⟺  (Rule1∧Rule2∧…)∨k≥kmax\text{STOP} \iff (\text{Rule}_1 \land \text{Rule}_2 \land \ldots) \lor k \geq k_{max}

A conjunção abrange os critérios diferentes dos limites de iterações e é falsa quando não há nenhum; kmaxk_{max} é o maior limite de iterações, e um limite de iterações menor não tem efeito.

O encerramento controlado independe da lógica de combinação de stopping_mode — ele finaliza o laço de treinamento independentemente de algum ou de todos os critérios configurados terem sido acionados.

A metodologia acima define quando cada critério interrompe o treinamento; a aba abaixo remete às entradas de configuração dos critérios, informa quais interfaces podem emitir uma solicitação de encerramento e lista o que uma execução interrompida registra.

As configurações de parada do Novo Modelo são duas chaves do objeto training do config.json: stopping_rules, a lista de critérios pelos quais uma execução pode parar, e stopping_mode, a forma como eles se combinam. Esta aba apresenta um conjunto combinado e remete às entradas de configuração que listam todos os campos e valores padrão; a condição de parada de cada critério permanece nas seções de metodologia acima (§2 Limite de iterações, §3 Limite de tempo, §4 Estagnação do limite e §5 Parada por gap).

A referência de configuração lista os campos de cada critério (iteration_limit, time_limit, bound_stalling e gap), além dos valores e do padrão de training.stopping_mode.

O conjunto a seguir para quando o gap se fecha ou ao atingir 500 iterações, o que ocorrer primeiro:

{
"training": {
"stopping_rules": [
{ "type": "iteration_limit", "limit": 500 },
{ "type": "gap", "tolerance": 1.0, "relative_tolerance": 0.1 }
],
"stopping_mode": "any"
}
}

O critério gap exige uma simulação forward enumerada no treinamento (training); uma execução amostrada para conforme descrito em Execuções amostradas.

Uma solicitação de encerramento não é uma entrada de stopping_rules, e stopping_mode não se aplica a ela. Durante o treinamento, novomodelo run converte um SIGTERM ou SIGINT em uma solicitação, que o treinamento lê uma vez por iteração, após o limite inferior e antes da decisão de parada: o treinamento para ao final da iteração que a lê, grava as saídas do treinamento e o checkpoint da política, pula a simulação final configurada e termina com código 5 (Referência da CLI — Códigos de saída). Um sinal que atinja qualquer processo (rank MPI) de uma execução com vários processos interrompe todos eles na mesma iteração, e um segundo SIGINT encerra imediatamente uma execução de processo único. Antes do início do treinamento e durante a simulação final, ambos os sinais têm sua ação padrão. A API Python emite uma solicitação quando o callback on_iteration retorna um valor verdadeiro (truthy) ou lança uma exceção (API Python); a parada é assíncrona, de modo que a execução termina em uma fronteira de iteração posterior que não é fixa; uma execução encerrada dessa forma registra graceful_shutdown, a menos que os critérios de parada ou o limite de iterações também a tenham encerrado naquela iteração (O que uma execução interrompida registra).

Os blocos convergence, bounds e iterations de training/metadata.json registram como a execução parou:

  • convergence.termination_reason indica o primeiro critério acionado, na ordem em que stopping_rules os lista (sob "all", entre os critérios diferentes de iteration_limit), quando os critérios de parada encerraram a execução; caso contrário, é iteration_limit quando a execução atingiu seu limite de iterações e, caso contrário, graceful_shutdown quando uma solicitação de encerramento a encerrou. É error após um treinamento que falhou.
  • convergence.achieved é true quando os critérios de parada encerraram a execução e um critério gap ou bound_stalling foi acionado naquela iteração.
  • convergence.final_gap_percent é null quando o limite inferior final não é positivo.
  • bounds.final_lower_bound e bounds.final_upper_bound são os limites na última iteração, e iterations.completed é o número de iterações em que a execução terminou, incluindo execuções anteriores.

Limite inferior e gap com cortes projetados. Com um modelo PAR com termos de defasagem e as defasagens de afluência projetadas para fora dos cortes, o limite inferior e o gap estão sujeitos à ressalva de Projeção dos cortes apenas no armazenamento; a chave e seu valor padrão estão em stages[].state_variables.