O poder preditivo dos modelos com aprendizado de máquina é superior aos modelos tradicionais para análise do risco de crédito?

Abstract

O objetivo desse trabalho foi desenvolver modelos para previsão do risco de crédito, para verificar se modelos com uso de aprendizado de máquina apresentam melhor caráter preditivo comparado a tradicional regressão logística. Do mesmo modo, como objetivo específico, aplicar técnicas de interpretabilidade ao modelo de melhor performance, A metodologia adotada corresponde a uma pesquisa empírica econométrica com o uso das técnicas de aprendizado supervisionado. O público alvo foram empresas do segmento atacado, que possuem registros na Comissão de Valores Mobiliários (CVM). Para as variáveis do modelo foram utilizados indicadores econômicos e financeiros, retirados das demonstrações contábeis e patrimoniais das empresas, e também variáveis macroeconômicas. Os resultados indicam que o modelo de melhor capacidade preditiva foi o XGBoost, com curva ROC na base teste de 0.99 e acurácia de 0.98 Do mesmo modo, as principais variáveis preditivas foram os indicadores de PL/Exigível Total, Lucros Retidos/Ativos, Liquidez Seca, Estoque/Ativos e Necessidade de Capital de Giro (NCG). Na análise de interpretabilidade via Sharp value, os resultados corroboram a intepretação da importância e sentido econômico das variáveis. Assim, o Sharp value indica uma relação inversa entre as variáveis PL/Exigível Total, Liquidez Seca e Lucros Retidos/Ativos e o valor predito. Do mesmo modo, a interpretabilidade via interações mostrou que, para o modelo, as variáveis PL/Exigível Total, Necessidade de Capital de Giro, Lucros Retidos /Ativos e Estoque/Ativos são as que apresentam interações mais fortes com as demais variáveis. Estes resultados corroboram a tendência de crescimento do uso dos modelos com uso de técnicas de machine learning na área econômica por, muitas vezes, apresentarem melhor capacidade preditiva.

The purpose of this paper was to develop models for predicting credit risk, to verify if models using machine learning have a better predictive character compared to traditional logistic regression. Likewise, as a specific objective, to apply interpretability techniques to the best performance model. The methodology adopted corresponds to an empirical econometric research using supervised learning techniques. The target audience was wholesale companies, which have registrations with the Brazilian Securities and Exchange Commission (CVM). The model variables were economic and financial indicators, taken from the companies' accounting and equity statements, and macroeconomic information. The results indicate that the model with the best predictive capacity was the XGBoost, with a RCO curve at the test base of 0.99 and accuracy of 0.98 Likewise, the main predictive variables were the indicators of PL/Total Liabilities, Retained/Active Profits, Dry Liquidity, Inventory /Assets and Working Capital Need (NCG). In the analysis of interpretability via Sharp value, the results corroborate the interpretation of the importance and economic sense of the variables. Thus, the Sharp value indicates an inverse relationship between the variables Equity/Total Liabilities, Dry Liquidity and Retained Earnings/Assets and the predicted value. Likewise, the interpretability via interactions showed that, for the model, the variables PL/Total Liabilities, NCG, Retained Earnings/Assets and Inventory/Assets are those that present stronger interactions with the other variables, especially among themselves and together with the NCG and STV variables. These results corroborate the growth trend in the use of models with the use of machine learning techniques in the economic area, as they often have better predictive capacity.