Gestão de Riscos em Contratações Públicas Brasileiras: Um Modelo Contábil-Preditivo Aplicado no Superior Tribunal de Justiça
Integração de informações contábeis e econômico-financeiras dos fornecedores do STJ na gestão efetiva de riscos contratuais, alinhando-se aos Objetivos de Desenvolvimento Sustentável (ODS), especialmente no fortalecimento institucional e promoção de transparência.
O Desafio
A dificuldade de acesso a dados contábeis estruturados de fornecedores é um grande obstáculo. Este estudo foi viabilizado pela criação de um cadastro de informações inovador no STJ.
A Evolução Proposta
Evoluir o modelo teórico do Índice de Risco de Descumprimento Contratual (IRDC) para uma solução tecnológica e interativa, totalmente operacionalizada no STJ.
O Impacto
Fortalecer a governança, otimizar a alocação de recursos de fiscalização e promover uma gestão baseada em evidências, alinhada aos ODS 9 e 16.
Estrutura do Projeto de Pesquisa
Explore o contexto, os desafios e a proposta de valor do estudo no campo da contabilidade e gestão pública.
1. Introdução e Questão de Pesquisa
A administração pública contemporânea enfrenta o desafio de aprimorar sua gestão em meio a avanços tecnológicos e demandas crescentes por governança. Nesse contexto, órgãos como o Superior Tribunal de Justiça (STJ) buscam modernizar suas práticas para promover eficiência e transparência. Ferramentas como modelos preditivos têm se mostrado essenciais para fortalecer a gestão de riscos contratuais, com aplicações que vão desde a previsão de corrupção até a estimativa de contingências em projetos públicos.
Apesar da evolução na agenda de pesquisas sobre o tema, persiste uma lacuna no desenvolvimento de estudos técnico-tecnológicos que orientem a adoção de modelos contábeis preditivos na administração pública. Este trabalho busca preencher essa lacuna, respondendo à seguinte questão de pesquisa: “De que forma um framework contábil-preditivo pode ser desenhado e operacionalizado para superar o uso cerimonial de dados financeiros e aprimorar a gestão de riscos em contratações públicas?”
Para isso, propomos um estudo de caso no STJ, aprofundando o uso do Índice de Risco de Descumprimento Contratual (IRDC) em uma matriz de risco do tipo Probabilidade × Impacto (PIm), operacionalizada com ferramentas de analytics e Business Intelligence (BI).
2. Contexto e Realidade Investigada
O STJ, como última instância para causas infraconstitucionais no Brasil, desempenha um papel crucial na uniformização da interpretação da lei federal. Suas contratações, regidas pela Lei nº 14.133/2021, são catalisadoras estratégicas para seu desempenho. Desde 2018, o tribunal celebrou contratos que somam aproximadamente R$ 1,46 bilhão com 438 fornecedores, aplicando 395 penalidades a 197 deles no mesmo período.
É importante notar que o número de sanções pode não refletir a totalidade dos descumprimentos, pois muitos desvios são resolvidos por meio de negociação e "tolerância" para garantir a continuidade de serviços essenciais. Esse cenário reforça a importância de modelos que ajudem a identificar os fatores de risco que levam um descumprimento a ultrapassar o limiar da tolerância e resultar em uma sanção formal.
3. Diagnóstico e Oportunidade
Apesar do potencial das informações contábeis para aprimorar a tomada de decisão, estudos recentes apontam que, nas licitações públicas brasileiras, esses dados frequentemente têm um uso cerimonial, ou seja, são empregados apenas formalmente, sem profundidade analítica. Essa lacuna não é apenas técnica, mas cultural, e é agravada por barreiras como a falta de capacitação em técnicas analíticas e a dependência de ferramentas limitadas.
Para superar essas limitações, é imprescindível incorporar tecnologias como sistemas de BI e modelos preditivos. Este estudo integra contabilidade, tecnologia e inovação na gestão pública, propondo uma solução prática para aprimorar a governança e a gestão dos riscos contratuais, alinhando-se aos Objetivos de Desenvolvimento Sustentável (ODS) 9 (Inovação) e 16 (Instituições Eficazes).
Metodologia Detalhada
O processo foi estruturado para construir e validar uma robusta matriz de riscos, combinando tratamento de dados, modelagem preditiva e regras de negócio.
Fluxo de Construção da Dimensão de Probabilidade
Importação e Consolidação
Preparação da base com indicadores contábeis e cadastrais.
Estatísticas Descritivas
Comparação entre grupos penalizados e não penalizados.
Correlação Inicial
Avaliação das relações entre variáveis contínuas.
Winsorização
Corte nos percentis 1% e 99% para mitigar outliers.
Imputação de Dados
Preenchimento por média (CV ≤ 30%) ou mediana (CV > 30%).
Índices Sintéticos (Z-score)
Padronização e combinação para reduzir dimensionalidade.
Correlação Final
Validação das transformações e estrutura dos dados.
Separação Treino/Teste
Divisão amostral (80/20) mantendo a proporcionalidade.
Balanceamento SMOTENC
Correção do desbalanceamento da variável dependente.
Agrupamento de CNAEs
Redução da esparsidade de categorias raras.
Criação de Dummies
Transformação de variáveis categóricas para modelagem.
Modelagem e Avaliação
Ajuste e validação dos modelos logit (completo, stepwise, LASSO).
Dimensão de Probabilidade
Os dois modelos de probabilidade validados – o IRDC10 (baseado em stepwise) e o modelo LASSO – foram operacionalizados dentro de um modelo semântico na plataforma Microsoft Power BI®. O primeiro passo foi a construção de uma tabela de análise centralizada que agrega os dados de todas as fontes. Em seguida, os coeficientes apurados em cada modelo foram implementados como medidas ou colunas calculadas em linguagem DAX, replicando as equações para calcular a probabilidade de inadimplência de cada fornecedor.
Finalmente, para aumentar a robustez da classificação final, foi adotada uma abordagem de ensemble (ou comitê). Esta técnica está fundamentada no princípio de que a combinação de múltiplos modelos tende a produzir uma classificação mais acurada e estável. No presente estudo, essa abordagem foi implementada por meio de um sistema de votação que agrega as predições dos dois modelos desenvolvidos.
| Nível de Probabilidade | Descrição do Risco | Regra de Decisão do Comitê (Ensemble) |
|---|---|---|
| 3. Alta | Probabilidade de inadimplência considerada elevada. Fornecedores que exigem monitoramento e controle rigorosos. | Consenso de Alto Risco: A probabilidade calculada foi superior ao ponto de corte ideal em ambos os modelos (Stepwise e LASSO). |
| 2. Média | Probabilidade de inadimplência considerada moderada. Indica um nível de atenção intermediário. | Divergência entre Modelos: A probabilidade calculada foi superior ao ponto de corte ideal em apenas um dos dois modelos. |
| 1. Baixa | Probabilidade de inadimplência considerada reduzida. Fornecedores com maior indicativo de confiabilidade. | Consenso de Baixo Risco: A probabilidade calculada foi inferior ao ponto de corte ideal em ambos os modelos (Stepwise e LASSO). |
Dimensão de Impacto
A dimensão de impacto da matriz de risco mensura a magnitude das consequências de uma eventual inadimplência contratual. Sua construção foi fundamentada nos critérios de qualificação econômico-financeira (QEF) estabelecidos pelo Superior Tribunal de Justiça (STJ), que adota uma metodologia progressiva: contratações de maior vulto financeiro são submetidas a uma análise contábil mais rigorosa.
Para traduzir esses princípios regulatórios em uma métrica aplicável ao modelo, a dimensão de impacto foi operacionalizada por meio de um sistema de classificação híbrido e hierárquico. Na primeira etapa, define-se o indicador [QEF_Status] para cada entidade fornecedora, considerando o contrato de maior criticidade. Se ao menos um contrato do fornecedor se enquadrar em critérios de análise relevantes (e.g., valor superior a R$ 5 milhões), a empresa recebe o status de “QEF Relevante”.
| Nível de Impacto | QEF_Status da Empresa | Critérios de QEF |
|---|---|---|
| 3. Alto | QEF Relevante | Contratações com valor anual > R$ 5 milhões e serviços continuados com +50% dos custos com mão de obra. |
| 2. Médio | QEF Padrão | Exigência de QEF, que não seja de QEF Relevante. |
| 1. Baixo | Não se aplica | Sem exigência de indicadores contábeis para QEF. |
Análise Preditiva e Validação dos Modelos
Avaliação da multicolinearidade, comparação dos coeficientes dos modelos e análise da acurácia preditiva para garantir a robustez dos resultados.
Avaliação e Tratamento da Multicolinearidade
Para mitigar os efeitos da multicolinearidade e tornar as variáveis comparáveis, todas as variáveis contínuas foram padronizadas (z-score) e combinadas em três índices sintéticos: Liquidez, Estrutura e Margem. A avaliação inicial (esquerda) revela alta correlação entre as variáveis originais, enquanto a análise final (direita) mostra uma expressiva redução das correlações internas após a criação dos índices.
Modelagem Preditiva e Avaliação dos Coeficientes
Os gráficos abaixo comparam os fatores de risco (coeficientes) identificados pelos dois modelos estatísticos. Eles mostram o "peso" de cada variável na previsão de penalidades. A visualização reforça a similaridade dos sinais e magnitudes dos principais preditores, ao mesmo tempo que evidencia diferenças na penalização de coeficientes entre os métodos.
Variáveis Contínuas (Z-score) + Porte
Divisão CNAE, Nat. Jurídica e Constante
Interpretando os Fatores de Risco: O que os Coeficientes nos Dizem?
De forma simplificada, os coeficientes do modelo funcionam como um "medidor de risco". Cada fator analisado (seja ele financeiro, cadastral ou operacional) recebe um peso que nos ajuda a entender sua influência na probabilidade de um fornecedor ser penalizado. Podemos resumir os principais achados da seguinte forma:
- Fatores que Diminuem o Risco (Coeficientes Negativos):
- Boa Saúde Financeira: Empresas com maior liquidez (capacidade de pagar contas de curto prazo), melhor estrutura de capital (menos dívidas) e maior rentabilidade (lucro) estão associadas a um menor risco de penalização.
- Maturidade e Diversificação: Empresas mais antigas e com atividades econômicas mais diversificadas (mais CNAEs secundários) tendem a ser mais resilientes e, portanto, apresentam menor risco.
- Grande Porte: Empresas de grande porte, no geral, mostraram um risco menor de descumprimento contratual.
- Fatores que Aumentam o Risco (Coeficientes Positivos):
- Contratos de Valor Elevado: Quanto maior o valor do contrato, maior a probabilidade associada de ocorrer uma penalização, o que justifica um monitoramento mais atento.
- Histórico de Penalidades: Como esperado, fornecedores que já foram penalizados em outros órgãos públicos têm uma chance maior de serem penalizados novamente.
- Setor de Atuação (CNAE): O ramo de atividade da empresa mostrou ser um dos fatores mais determinantes. O modelo consegue identificar setores que, historicamente, apresentam maior ou menor risco, permitindo uma análise calibrada para cada tipo de serviço ou produto contratado.
Essa análise detalhada dos fatores permite que o gestor público vá além de uma simples classificação de "alto" ou "baixo" risco, compreendendo quais características específicas de um fornecedor demandam maior atenção durante a execução do contrato.
Avaliação da Acurácia e Validade Preditiva
Para que o modelo seja útil, precisamos definir uma "nota de corte" (ou ponto de corte ideal). Imagine que o modelo dá uma nota de 0 a 100 para o risco de cada fornecedor. O ponto de corte é a nota que usamos para separar os fornecedores em "alto risco" e "baixo risco".
O gráfico ao lado mostra como encontramos o melhor ponto de equilíbrio: 0,46 (ou 46%). Nesse ponto, o modelo consegue ser bom em duas tarefas ao mesmo tempo: identificar corretamente os fornecedores que serão penalizados (linha verde, Sensibilidade) e também identificar corretamente os que não serão (linha laranja, Especificidade). É o ponto onde as duas curvas se cruzam, garantindo a decisão mais balanceada.
Modelo Stepwise (IRDC10)
Este modelo busca um equilíbrio entre identificar corretamente os fornecedores de risco e os confiáveis.
- ✓ Acurácia de 60,2%: Acerta a classificação geral da maioria dos fornecedores.
- ✓ Bom Equilíbrio: Apresenta uma performance balanceada, com 42% de acerto na identificação de empresas de risco (Sensibilidade) e 69% na identificação de empresas confiáveis (Especificidade).
Ideal para: Monitoramento geral e uma visão balanceada do risco dos fornecedores.
Modelo LASSO
Este modelo é mais cauteloso e se destaca pela alta precisão ao identificar fornecedores de baixo risco.
- ✓ Acurácia Superior (70,6%): Possui uma maior taxa de acerto geral em comparação com o Stepwise.
- ✓ Excelente em Identificar Confiáveis: Com 87,3% de Especificidade, é extremamente eficaz em confirmar quais fornecedores são de baixo risco, evitando "falsos alarmes".
Ideal para: Decisões conservadoras, onde é crucial ter alta confiança ao classificar um fornecedor como seguro.
Conclusão: O Melhor dos Dois Mundos
Nenhum modelo é perfeito. O Stepwise é mais equilibrado, enquanto o LASSO é mais preciso e cauteloso. Ao usá-los em **consenso (ensemble)**, combinamos o melhor de cada um: só classificamos um fornecedor nos extremos (alto ou baixo risco) se ambos os modelos concordarem. Isso cria uma "dupla verificação" que torna a avaliação final de risco muito mais robusta e confiável para a tomada de decisão.
Métricas Adicionais de Validação
Além da acurácia, usamos outras métricas para garantir que o modelo é realmente confiável e não está apenas "chutando" as respostas. O modelo LASSO se mostrou superior, com uma acurácia de 70,6% e um Kappa de 0,26, indicando um desempenho significativamente melhor que um palpite aleatório.
Índice Kappa
Mede o quanto o nosso modelo é melhor do que um simples palpite. Um Kappa de 0,26 significa que o modelo tem uma performance "razoável", muito superior à sorte.
No Information Rate (NIR)
É a "nota mínima" que o modelo precisa tirar. Representa a acurácia que teríamos se sempre prevíssemos o resultado mais comum (neste caso, "não penalizado"). Nosso modelo superou essa nota, provando seu valor.
Teste de McNemar
Compara os tipos de erros que os dois modelos (Stepwise e LASSO) cometem. O teste mostrou que os erros são diferentes, e o modelo LASSO é mais conservador, ou seja, mais cauteloso ao classificar um fornecedor como de baixo risco.
Painel de Informações Contábeis
Explore o painel de BI interativo desenvolvido para o STJ. A ferramenta permite a análise detalhada dos riscos contratuais em tempo real.
Plano de Tratamento de Riscos
A operacionalização do Índice de Risco de Descumprimento Contratual (IRDC) no ambiente do BI culmina na aplicação prática de um Plano de Tratamento de Riscos Contábeis, que orienta os gestores quanto às ações recomendadas conforme o grau de ameaça identificado. O painel interativo possibilita, ao identificar contratos ou fornecedores classificados em diferentes níveis de risco, a vinculação imediata a um conjunto estruturado de recomendações, fortalecendo a governança e a gestão proativa dos contratos públicos.
- Atualização regular da Qualificação Econômico-Financeira (QEF) conforme calendário;
- Procedimentos de fiscalização contratual padrão;
- Avaliação pontual pela CACC apenas diante de dúvidas relevantes;
- Caso alguns dos indicadores de QEF não satisfaçam as condições para renovação, o gestor poderá deliberar pela continuidade da contratação e monitorar a situação.
- Atualização prioritária da Qualificação Econômico-Financeira (QEF);
- Acompanhamento pontual e complementação documental em caso de inconsistências;
- Fiscalização de rotina, com reforço se houver risco;
- Consulta à CACC em caso de dúvida ou inconsistência relevante.
- Caso os indicadores de QEF não satisfaçam as condições para renovação, o gestor poderá deliberar pela continuidade da contratação e monitorar a situação ponderando outros fatores técnicos.
- Atualização imediata da Qualificação Econômico-Financeira (QEF);
- Realização de diligências documentais rigorosas (atestados, certidões, DRE, BP e contratos vigentes);
- Intensificação da fiscalização contratual;
- Atenção especial a contratos com mão de obra exclusiva (monitoramento de encargos trabalhistas e previdenciários);
- Plano de sucessão contratual: caso os indicadores contábeis não atendam aos critérios exigidos, recomenda-se iniciar o planejamento de nova contratação, se houver necessidade de continuidade do objeto. Não havendo tempo hábil para nova licitação, a vigência final de eventual aditivo deve estar vinculada ao início da nova contratação;
- Avaliação de continuidade: cabe ao gestor/Diretor-Geral decidir sobre a permanência do contrato sem plano de sucessão, a manutenção com início do plano de sucessão ou a rescisão imediata, com ou sem nova contratação, conforme os critérios contábeis e o nível de qualidade dos serviços prestados.
Apêndice: Materiais Suplementares
Acesso à trajetória da pesquisa, desde os artigos seminais até os scripts e materiais de apoio que garantem a transparência e reprodutibilidade do estudo.
-
1. Artigo no Congresso USP
Primeiro reconhecimento acadêmico do modelo, aprovado no 24º USP International Conference on Accounting. Suas contribuições serviram para evoluir o projeto. [Acesso ao PDF]
-
2. Dissertação de Mestrado (Trabalho Original)
Título: "Inadimplemento contratual no Setor Público Brasileiro : Índice de (des)confiança no fornecedor para gestão de riscos em contratações regidas pela Lei Geral de Licitações". Este trabalho deu origem aos artigos subsequentes. [Acesso à Dissertação]
-
3. Artigo para USP (Refinamento Conceitual)
Aceito para publicação (no prelo) na Accounting & Finance Review (Revista Contabilidade & Finanças - Universidade de São Paulo). Este artigo refina o desenvolvimento conceitual do IRDC.
[E-mail de Aceitação] | [Versão Aceita para Publicação] -
4. Scripts de Análise e Resultados
Este é o Do-file para Stata 18, que integra Python (ver documentação) para executar a análise estatística completa. Sua disponibilização facilita a transparência e a reprodutibilidade científica.
IRDC_Winsor_TreinoTeste_SMOTENC_logit.doCarregando script do GitHub...Este é o Log de execução do script, contendo todos os resultados, gráficos e informações estatísticas apresentadas no site. O log inclui detalhes do processamento, como estatísticas descritivas, execução do SMOTENC, entre outros.
IRDC_UFBAAPCONT.logCarregando log do GitHub... -
5. Repositório do Projeto no GitHub
Acesso completo a todos os arquivos, scripts e documentos do projeto. [Acessar Repositório]
Autoria e Contato
Moreno Souto Santiago
Analista do STJ, Contador e Mestre em Governança e Inovação em Políticas Públicas pela UnB.
Coautoras e Orientadoras
Beatriz Fátima Morgan
Professora e pesquisadora na Universidade de Brasília (UnB), com doutorado em Contabilidade e Controladoria pela USP. Atua na área de Contabilidade Gerencial e Custos e é membro do Mestrado Profissional em Governança e Inovação em Políticas Públicas.