Global Sensitivity Analysis Based on Entropy: From Differential Entropy to Alternative Measures
Loading...
Date
2021-06-19
Authors
ORCID
Advisor
Referee
Mark
Journal Title
Journal ISSN
Volume Title
Publisher
MDPI
Altmetrics
Abstract
Differential entropy can be negative, while discrete entropy is always non-negative. This article shows that negative entropy is a significant flaw when entropy is used as a sensitivity measure in global sensitivity analysis. Global sensitivity analysis based on differential entropy cannot have negative entropy, just as Sobol sensitivity analysis does not have negative variance. Entropy is similar to variance but does not have the same properties. An alternative sensitivity measure based on the approximation of the differential entropy using dome-shaped functionals with non-negative values is proposed in the article. Case studies have shown that new sensitivity measures lead to a rational structure of sensitivity indices with a significantly lower proportion of higher-order sensitivity indices compared to other types of distributional sensitivity analysis. In terms of the concept of sensitivity analysis, a decrease in variance to zero means a transition from the differential to discrete entropy. The form of this transition is an open question, which can be studied using other scientific disciplines. The search for new functionals for distributional sensitivity analysis is not closed, and other suitable sensitivity measures may be found.
Diferenciální entropie může být záporná, zatímco diskrétní entropie je vždy nezáporná. Tento článek ukazuje, že záporná entropie je významnou chybou, když je entropie použita jako citlivostní míra v globální citlivostní analýze. Globální citlivostní analýza založená na diferenciální entropii nemůže mít negativní entropii, stejně jako Sobolova citlivostní analýza nemá negativní rozptyl. Entropie je podobná rozptylu, ale nemá stejné vlastnosti. V článku je navrženo alternativní měření citlivosti založené na aproximaci diferenciální entropie pomocí kopulovitých funkcionálů s nezápornými hodnotami. Případové studie ukázaly, že nová měření citlivosti vedou k racionální struktuře indexů citlivosti s výrazně nižším podílem indexů citlivosti vyššího řádu ve srovnání s jinými typy distribučních citlivostních analýz. Z hlediska konceptu citlivostní analýzy znamená pokles rozptylu na nulu přechod od diferenciální k diskrétní entropii. Forma tohoto přechodu je otevřenou otázkou, kterou lze studovat pomocí jiných vědních oborů. Hledání nových funkcionálů pro distribuční analýzu citlivosti není uzavřeno a lze nalézt další vhodná opatření pro citlivost.
Diferenciální entropie může být záporná, zatímco diskrétní entropie je vždy nezáporná. Tento článek ukazuje, že záporná entropie je významnou chybou, když je entropie použita jako citlivostní míra v globální citlivostní analýze. Globální citlivostní analýza založená na diferenciální entropii nemůže mít negativní entropii, stejně jako Sobolova citlivostní analýza nemá negativní rozptyl. Entropie je podobná rozptylu, ale nemá stejné vlastnosti. V článku je navrženo alternativní měření citlivosti založené na aproximaci diferenciální entropie pomocí kopulovitých funkcionálů s nezápornými hodnotami. Případové studie ukázaly, že nová měření citlivosti vedou k racionální struktuře indexů citlivosti s výrazně nižším podílem indexů citlivosti vyššího řádu ve srovnání s jinými typy distribučních citlivostních analýz. Z hlediska konceptu citlivostní analýzy znamená pokles rozptylu na nulu přechod od diferenciální k diskrétní entropii. Forma tohoto přechodu je otevřenou otázkou, kterou lze studovat pomocí jiných vědních oborů. Hledání nových funkcionálů pro distribuční analýzu citlivosti není uzavřeno a lze nalézt další vhodná opatření pro citlivost.
Description
Citation
Document type
Peer-reviewed
Document version
Published version
Date of access to the full text
Language of document
en