Critérios de parada
Objetivo
Seção intitulada “Objetivo”Este capítulo define os critérios de parada disponíveis no solver PDDE (SDDP) do Novo Modelo e a forma como se combinam. Abrange o limite de iterações, o limite de tempo, a estagnação do limite (bound stalling) e o critério de parada recomendado, baseado no gap.
1 Critérios de parada disponíveis
Seção intitulada “1 Critérios de parada disponíveis”A PDDE pode terminar com base em múltiplos critérios. Cada critério é avaliado de forma independente, e stopping_mode determina como eles se combinam:
-
"any": para quando qualquer critério é acionado (lógica OU) -
"all": para quando todos os critérios, exceto os limites de iterações, são acionados na mesma iteração (lógica E); o maior limite de iterações limita a execução
2 Limite de iterações
Seção intitulada “2 Limite de iterações”Avaliação:
em que é a iteração corrente e é o limite.
Finalidade: limite de segurança para evitar laços infinitos.
3 Limite de tempo
Seção intitulada “3 Limite de tempo”Avaliação:
O tempo de relógio (wall-clock) é verificado ao final de cada iteração.
4 Estagnação do limite
Seção intitulada “4 Estagnação do limite”Avaliação:
Acompanha-se o limite inferior ao longo das iterações. Uma vez registrados limites, calcula-se a melhoria relativa na janela dos últimos limites inferiores registrados, (o parâmetro iterations):
Condição de parada:
em que é a tolerância de estagnação do limite sobre a melhoria relativa, definida pelo parâmetro tolerance do critério.
Interpretação: o limite atingiu um patamar — a melhoria relativa ao longo dos últimos limites inferiores registrados está abaixo da tolerância especificada, o que indica retornos decrescentes de iterações adicionais.
5 Parada por gap (recomendada)
Seção intitulada “5 Parada por gap (recomendada)”Evolução ilustrativa dos limites ao longo das iterações . Nos dois painéis, o limite inferior cresce monotonicamente (o conjunto de cortes é somente de acréscimo). À esquerda, uma simulação forward amostrada: o limite superior é uma estimativa, e sua faixa de confiança reflete um erro amostral que persiste à medida que o gap se fecha, de modo que, no fim da execução, a faixa abrange o limite inferior e nada certifica. À direita, uma simulação forward enumerada: o limite superior exato não tem faixa, permanece acima do limite inferior e converge para ele — a comparação que o critério de gap testa.
Gap de otimalidade
Seção intitulada “Gap de otimalidade”Na iteração , o gap de otimalidade (optimality gap) é a diferença entre o limite superior e o limite inferior , qualquer que seja o mecanismo que fornece o limite superior — a estimativa estatística de uma simulação forward amostrada ou o limite exato de uma enumerada (Avaliação do limite superior):
O gap percentual o normaliza pelo limite inferior:
Ambos os limites estão em unidades monetárias não escalonadas — as unidades de custo originais, com o escalonamento de custos do PL do estágio desfeito —, de modo que está em unidades monetárias e o gap percentual é adimensional. O denominador é o módulo do limite inferior, nunca do limite superior, com piso de uma unidade monetária para que a razão permaneça limitada quando o limite inferior está próximo de zero. O gap reportado a cada iteração e o ramo relativo do critério de gap abaixo compartilham esse denominador, de modo que os dois nunca divergem sobre o significado de “gap relativo”.
O critério de gap encerra o treinamento (training) assim que o limite superior exato converge para o limite inferior.
Avaliação:
O critério avalia o gap de otimalidade com o limite superior exato, , e o compara truncado em zero, ; o truncamento pertence à comparação do critério, não à definição do gap. Em aritmética exata, o limite superior exato satisfaz sempre que o limite inferior é válido (Gerenciamento de cortes — Camada 1), e o truncamento então apenas absorve ruído de ponto flutuante depois que o gap se fechou até (numericamente) zero. Em um modelo PAR com termos de defasagem (ordem acima de zero ou componente anual), o limite inferior pode exceder o limite superior exato com um método de truncamento de Métodos de tratamento de afluências negativas §7, ou onde um período de defasagem abrange vários estágios e sua soma parcial difere entre caminhos (Estudos com múltiplas resoluções §2.1); o truncamento interpreta esse gap negativo como fechado, de modo que o critério pode parar sem certificado de otimalidade: o limite superior exato é o custo de uma política viável, mas um limite inferior inválido não limita o ótimo por baixo.
Condição de parada — dois ramos combinados por disjunção (qualquer um é suficiente):
A tolerância absoluta , em unidades monetárias, é definida pelo parâmetro tolerance do critério. A tolerância relativa , em percentual, é definida pelo parâmetro relative_tolerance do critério. Qualquer uma das tolerâncias pode ser configurada isoladamente; quando ambas são configuradas, o treinamento para assim que qualquer um dos ramos é satisfeito.
Admissibilidade: a comparação acima só é válida quando o limite superior utilizado é o limite exato, e não uma estimativa estatística. As duas condições a seguir devem ser satisfeitas:
- A simulação forward enumera a árvore de cenários exaustivamente, em vez de amostrá-la, de modo que o limite superior é exato — sem erro amostral — e não uma aproximação amostrada.
- A medida de risco é uniforme em todos os estágios: ou o valor esperado em todos os estágios, ou uma mesma medida CVaR (o mesmo peso de aversão ao risco e a mesma fração de cauda ) em todos os estágios. Sob o valor esperado, o limite exato é o custo ponderado pelas probabilidades sobre todos os cenários ; sob um CVaR uniforme, é o limite de risco aninhado e consistente no tempo sobre a mesma árvore enumerada (Avaliação do limite superior §2). Uma medida variável por estágio — o par diferindo entre estágios, sendo que todo estágio com corresponde ao valor esperado, qualquer que seja seu — não é admissível, pois nesse caso nenhuma medida única agrega a árvore.
Com uma simulação forward amostrada, ou com uma medida variável por estágio, a comparação com o limite exato da qual o critério depende não está disponível, e o critério de gap é rejeitado na preparação da execução com um erro de validação nomeado, em vez de ser avaliado silenciosamente com base em uma comparação inconsistente.
Por que é recomendado: diferentemente da estagnação do limite (um indicador indireto de convergência) ou dos limites de iterações e de tempo (limites de segurança sem relação com a convergência), um gap fechado é um certificado direto de otimalidade no regime de limite exato que o critério exige — uma simulação forward enumerada com uma medida de risco uniforme entre os estágios — sobre um limite inferior válido.
A decisão de admissibilidade avalia as duas condições em ordem: primeiro, se a simulação forward é enumerada; depois, se a medida é a mesma em todos os estágios. Satisfeitas ambas, o critério de gap é admitido e passa a comparar o limite inferior com o limite superior exato, de modo que um gap fechado certifica a otimalidade sob as hipóteses da Camada 3; se qualquer uma falhar, o critério é rejeitado na preparação — nesse caso, encerre a execução por estagnação do limite e limite de iterações, como em Execuções amostradas.
Execuções amostradas
Seção intitulada “Execuções amostradas”Com uma simulação forward amostrada, o critério de gap não está disponível. Encerre uma execução amostrada por estagnação do limite (§4) e limite de iterações (§2), combinados de modo que o primeiro a ser acionado encerre a execução (§7). O limite superior de uma execução amostrada é uma estimativa estatística: seu intervalo de confiança descreve o custo médio da simulação forward amostrada, e nenhuma estimativa amostral certifica a otimalidade (Camada 3).
6 Encerramento controlado
Seção intitulada “6 Encerramento controlado”Uma solicitação de encerramento finaliza o laço de treinamento em uma fronteira de iteração, com a política da última iteração concluída persistida.
Garantia: a política no momento do encerramento é utilizável. O laço lê uma solicitação uma vez por iteração, após o cálculo do limite inferior e antes da decisão de parada, e conclui essa iteração antes de parar, de modo que os cortes e limites de todas as iterações executadas são registrados e nenhuma iteração parcial é deixada para trás. A garantia de encerramento controlado é um caso particular do compromisso mais amplo de rastreabilidade descrito em Determinismo e rastreabilidade §5: os artefatos de saída estão sempre em estado consistente, seja porque a execução atingiu um critério de parada configurado, seja porque uma solicitação de encerramento a finalizou.
Incondicional: o encerramento controlado não é um critério configurável; é uma propriedade
de segurança incondicional do laço de treinamento. Ele não é listado em stopping_rules na
configuração do caso e não está sujeito à lógica de combinação de stopping_mode. As interfaces
que podem emitir uma solicitação estão listadas na aba Configurar, em
Implementação no Novo Modelo.
Compromisso: uma solicitação produz efeito em uma fronteira de iteração, e a iteração que a lê é executada até o fim; assim, a solicitação produz efeito após a conclusão da iteração que a lê, e não no momento em que é emitida. A alternativa (encerramento imediato) deixaria o estado da política inconsistente.
7 Combinação de critérios
Seção intitulada “7 Combinação de critérios”Modo: "any" (padrão):
O primeiro critério acionado provoca o encerramento.
Modo: "all":
A conjunção abrange os critérios diferentes dos limites de iterações e é falsa quando não há nenhum; é o maior limite de iterações, e um limite de iterações menor não tem efeito.
O encerramento controlado independe da lógica de combinação de stopping_mode — ele finaliza
o laço de treinamento independentemente de algum ou de todos os critérios configurados terem sido acionados.
Implementação no Novo Modelo
Seção intitulada “Implementação no Novo Modelo”A metodologia acima define quando cada critério interrompe o treinamento; a aba abaixo remete às entradas de configuração dos critérios, informa quais interfaces podem emitir uma solicitação de encerramento e lista o que uma execução interrompida registra.
As configurações de parada do Novo Modelo são duas chaves do objeto training do
config.json: stopping_rules, a lista de critérios pelos quais uma execução pode parar, e
stopping_mode, a forma como eles se combinam. Esta aba apresenta um conjunto combinado e remete
às entradas de configuração que listam todos os campos e valores padrão; a condição de parada
de cada critério permanece nas seções de metodologia acima
(§2 Limite de iterações,
§3 Limite de tempo,
§4 Estagnação do limite e
§5 Parada por gap).
training.stopping_rules — Critérios
Seção intitulada “training.stopping_rules — Critérios”A referência de configuração lista os campos de cada critério
(iteration_limit,
time_limit,
bound_stalling e
gap), além dos valores e do padrão de
training.stopping_mode.
training.stopping_mode — Combinação
Seção intitulada “training.stopping_mode — Combinação”O conjunto a seguir para quando o gap se fecha ou ao atingir 500 iterações, o que ocorrer primeiro:
{ "training": { "stopping_rules": [ { "type": "iteration_limit", "limit": 500 }, { "type": "gap", "tolerance": 1.0, "relative_tolerance": 0.1 } ], "stopping_mode": "any" }}O critério gap exige uma simulação forward enumerada no treinamento (training); uma execução amostrada para
conforme descrito em Execuções amostradas.
Solicitações de encerramento
Seção intitulada “Solicitações de encerramento”Uma solicitação de encerramento não é uma entrada de stopping_rules, e stopping_mode
não se aplica a ela. Durante o treinamento, novomodelo run converte um SIGTERM ou SIGINT
em uma solicitação, que o treinamento lê
uma vez por iteração, após o limite inferior e antes da decisão de parada: o treinamento
para ao final da iteração que a lê, grava as saídas do treinamento
e o checkpoint da política, pula a simulação final configurada e termina com código 5
(Referência da CLI — Códigos de saída). Um sinal
que atinja qualquer processo (rank MPI) de uma execução com vários processos interrompe todos eles na mesma
iteração, e um segundo SIGINT encerra imediatamente uma execução de processo único. Antes
do início do treinamento e durante a simulação final, ambos os sinais têm sua ação
padrão. A API Python emite uma solicitação quando o callback on_iteration
retorna um valor verdadeiro (truthy) ou lança uma exceção
(API Python); a parada é assíncrona, de modo que a execução termina
em uma fronteira de iteração posterior que não é fixa; uma execução encerrada dessa forma
registra graceful_shutdown, a menos que os critérios de parada ou o limite de iterações também a tenham encerrado
naquela iteração
(O que uma execução interrompida registra).
O que uma execução interrompida registra
Seção intitulada “O que uma execução interrompida registra”Os blocos convergence, bounds e iterations de
training/metadata.json
registram como a execução parou:
convergence.termination_reasonindica o primeiro critério acionado, na ordem em questopping_rulesos lista (sob"all", entre os critérios diferentes deiteration_limit), quando os critérios de parada encerraram a execução; caso contrário, éiteration_limitquando a execução atingiu seu limite de iterações e, caso contrário,graceful_shutdownquando uma solicitação de encerramento a encerrou. Éerrorapós um treinamento que falhou.convergence.achievedétruequando os critérios de parada encerraram a execução e um critériogapoubound_stallingfoi acionado naquela iteração.convergence.final_gap_percenténullquando o limite inferior final não é positivo.bounds.final_lower_boundebounds.final_upper_boundsão os limites na última iteração, eiterations.completedé o número de iterações em que a execução terminou, incluindo execuções anteriores.
Limite inferior e gap com cortes projetados. Com um modelo PAR com termos de defasagem
e as defasagens de afluência projetadas para fora dos cortes, o limite inferior e o gap estão sujeitos à
ressalva de
Projeção dos cortes apenas no armazenamento;
a chave e seu valor padrão estão em
stages[].state_variables.
Referências cruzadas
Seção intitulada “Referências cruzadas”- Convenções de notação — Definições de símbolos para limites e grandezas estatísticas
- Algoritmo da PDDE — Laço principal de iterações que avalia os critérios de parada
- Gerenciamento de cortes — Geração e seleção de cortes, que afetam a velocidade de convergência
- Avaliação do limite superior — Os estimadores exato (determinístico) e estatístico do limite superior; o limite exato é aquele com o qual o critério de gap compara
- Medidas de risco — Formulações avessas ao risco que afetam a interpretação dos limites
- Determinismo e rastreabilidade — Compromisso de rastreabilidade do qual a garantia de encerramento controlado é um caso particular