École polytechnique

Lieu de travail

Intitulé du sujet

Mots clés

L'intelligence artificielle est désormais intégrée à de nombreuses applications de la vie quotidienne. Nous dépendons de plus en plus des réseaux de neurones même dans des situations critiques, comme le contrôle et la planification des mouvements des voitures autonomes, et il est primordial de pouvoir vérifier leur bon comportement.
Mais pour certaines applications, comme la perception dans les systèmes autonomes, on ne peut espérer que des garanties probabilistes. De plus, dans les systèmes réels, des modèles précis et représentatifs des données ne sont pas toujours disponibles. Par exemple, plusieurs modèles probabilistes peuvent être plausibles pour décrire un problème, ou un modèle probabiliste peut être connu mais avec des paramètres incertains. Par conséquent, nous devons considérer à la fois des informations probabilistes et des incertitudes épistémiques. Récemment a été introduite [1] une approche pour la vérification quantitative des réseaux de neurones basée sur des probabilités imprécises, qui généralisent les incertitudes probabilistes et épistémiques en définissant des ensembles de distributions de probabilité. Cette approche fournit des mesures qualitatives de la probabilité que les sorties d'un réseau de neurones présentent un certain comportement, compte tenu de certaines hypothèses sur les entrées spécifiées comme des probabilités imprécises. Sur la base d'une abstraction et d'une propagation d'ensembles de distributions de probabilité dans des réseaux neuronaux, la probabilité d'une satisfaction de propriété peut être limitée et les régions de l'espace d'entrée les plus susceptibles de conduire à une violation de propriété peuvent être identifiées.
Objectifs : L'approche de [1] s'est avérée à la fois plus générale et plus efficace en termes de calcul que l'état de l'art. Cependant, de nombreux défis restent à relever quant à l'applicabilité aux problèmes du monde réel.
Comme point de départ, nous considérerons les extensions suivantes :

• l'abstraction actuelle des boîtes de probabilité repose sur une discrétisation en escalier à pas constant qui s'adaptera difficilement à la dimension d'entrée des réseaux ; nous aimerions explorer d'autres abstractions ;
• l'indépendance est actuellement supposée entre les entrées du réseau ; nous prévoyons de gérer également des distributions d'entrée multivariées, par exemple en utilisant des copules [4] comme par ex. [2].

Un objectif à plus long terme est d'étudier l'extension de l'approche à l'analyse des réseaux de neurones bayésiens, où les poids et les biais du réseau sont également définis par des distributions de probabilité multivariées (imprécises). Cela étend le cas des distributions d'entrées multivariées, mais dans une dimension beaucoup plus élevée, nécessitant probablement une nouvelle vision de l'approche.
Enfin, le projet explorera des applications, parmi lesquelles peuvent figurer les suivantes:

• application à la sureté des systèmes autonomes, comme la robustesse de perception et de décision dans la vision effectuée par des drones, avec des informations probabilistes imprécises sur les trajectoires ;
• contribution à l'analyse d'équité ou plus généralement à l'explicabilité du comportement du réseau [3].

Références
[1] Eric Goubault and Sylvie Putot. A zonotopic dempster-shafer approach to the quantitative verification of neural networks. In Proceedings of FM 2024, Milan, Italy, 2024, Springer-Verlag.
[2] Ander Gray, Marcelo Forets, Christian Schilling, Scott Ferson, and Luis Benet. Verified propagation of imprecise probabilities in non-linear odes. International Journal of Approximate Reasoning, 164, 2024.
[3] Rabia Saleem, Bo Yuan, Fatih Kurugollu, Ashiq Anjum, and Lu Liu. Explaining deep neural networks: A survey on the global interpretation methods. Neurocomputing, 513:165–180, 2022.
[4] Bernhard Schmelzer. Random sets, copulas and related sets of probability measures. International Journal of Approximate Reasoning, 160:108952, 2023.
-
-

Artificial Intelligence is now embedded into a number of everyday life appli- cations. More and more, we depend on neural networks even in critical situations, such as control and motion planning for autonomous cars, and it is of primary importance to be able to verify their correct behavior.
But for some applications, e.g. perception in autonomous systems, through classifiers, we can only hope for probabilistic safety. Moreover, in real-world systems, precise models representative of the data are not always available. For instance, several probabilistic models may be plausible for describing of a problem, or a probabilistic model may be known but with uncertain parameters. Therefore, we need to consider both probabilistic information and epistemic uncertainty. Recently was introduced in [1] an approach based on imprecise probabilities or probability boxes, which generalize probabilistic and epistemic uncertainties by defining sets of probability distributions, for the quantitative verification of neural networks. This approach provides qualitative measures of how likely the outputs of a neural network are to exhibit a certain behavior, given some assumptions on the inputs specified as imprecise probabilities. Based on an abstraction and propagation of sets of probability distributions in neural networks, the probability of a property satis- faction can be bounded, and the regions of the input space the more likely to lead to property violation identified.
Objectives: The approach of [1] proved to be both more general and more computationally efficient than the state of the art. However many challenges remain on the way to the applicability to real-world problems
As a starting point, we will consider the following extensions:

• the current abstraction of probability boxes relies on a constant stepsize staircase discretization which will hardly scale with the input dimension of the networks; we would like to investigate other abstractions;
• independence is currently assumed between the inputs of the network; we plan to handle also multivariate input distributions, for instance using copulas [4] as in e.g. [2].

A longer-term objective is to study the extension of the approach to the analysis of Bayesian neural networks, where the weights and bias of the network are also defined by multivariate (imprecise) probabil- ity distributions. This extends the case of multivariate input distributions, but in much higher dimension, probably requiring a fresh view on the approach.
Finally, the project will explore applications, among which can be the following:

• application to the safety of autonomous systems, such as robustness of perception and decision in the vision of drones with imprecise probabilistic information on trajectories;
• contribution to the fairness analysis or more generally the explanability of the network behavior [3].

References
[1] Eric Goubault and Sylvie Putot. A zonotopic dempster-shafer approach to the quantitative verification of neural networks. In Proceedings of FM 2024, Milan, Italy, 2024, Proceedings, Part I, page 324–342, Berlin, Heidelberg, 2024. Springer-Verlag.
[2] Ander Gray, Marcelo Forets, Christian Schilling, Scott Ferson, and Luis Benet. Verified propagation of imprecise probabilities in non-linear odes. International Journal of Approximate Reasoning, 164, 2024.
[3] Rabia Saleem, Bo Yuan, Fatih Kurugollu, Ashiq Anjum, and Lu Liu. Explaining deep neural networks: A survey on the global interpretation methods. Neurocomputing, 513:165–180, 2022.
[4] Bernhard Schmelzer. Random sets, copulas and related sets of probability measures. International Journal of Approximate Reasoning, 160:108952, 2023.
-
-

Début de la thèse : 01/10/2025

Autre financement public

ANR Financement d'Agences de financement de la recherche*

École polytechnique

École polytechnique

626 Ecole Doctorale de l'Institut Polytechnique de Paris

Les candidats doivent avoir une solide expérience en informatique, avec un accent sur les méthodes formelles et un intérêt pour l'intelligence artificielle.
Candidates should have a strong background in computer science with a focus on formal methods and interest for artificial intelligence.

Date limite de candidature