INTRODUCTION

Une analyse accrue (exploration de données guidée par l'homme et basée sur un algorithme) crée une symbiose puissante entre les chercheurs et leurs outils d'analyse. L’ampleur des données collectées simultanément dans la dernière génération de microscopes électroniques à transmission par balayage (STEM) offre des possibilités de progrès notables en matière de microscopie, d’analyse de données multimodales et de recherche sur les matériaux (1) Dans une STEM, les matériaux sont photographiés pour leur structure, leur chimie et leur réponse aux stimuli environnementaux. On pourrait dire qu'une partie de l'information la plus utile obtenue par cette approche de caractérisation des matériaux est la technologie permettant d'identifier les matériaux et leurs arrangements atomiques spécifiques en tant que structure, avec des images à l'échelle atomique dérivées d'images haute résolution ou de techniques basées sur la diffraction. Avec l'avènement des méthodes avancées de ptychographie, la diffraction électronique basée sur la précession, les images compressives et les images multidimensionnelles, y compris la microscopie à quatre dimensions, les chercheurs ont développé l'urgence d'identifier efficacement les structures et les écarts cristallographiques dans plus de jeux de données. massif26 6)

L’ampleur des données collectées simultanément dans la dernière génération de STEM présente également ces mêmes possibilités, et plus encore, notamment la collecte accélérée de données multidimensionnelles et le traitement en temps réel. Avec la résolution native des microscopes, qui varie avec chaque microscope d’environ 0,50 à plus de 2 Å (limitée principalement par des aberrations sphériques), ces outils sont bien sûr des machines à haute information. À mesure que les techniques expérimentales évoluent, ainsi que le matériel de microscopie, y compris les ajouts récents de détecteurs pixélisés, les chercheurs doivent s’attaquer à la prolifération des données (7 79 9) Les progrès récents dans l’apprentissage en profondeur nous ont permis d’analyser des ensembles de données intraitables pour l’être humain et d’effectuer des tâches d’imagerie complexes, y compris la segmentation et la classification (1013) Cependant, l'apprentissage en profondeur et l'analyse accrue n'ont pas encore perturbé la communauté de la microanalyse et des matériaux comme dans la communauté de la vision par ordinateur, malgré les implémentations open source d'algorithmes d'apprentissage automatique dans des packages tels que TensorFlow et Caffe (14, 15)

Concrètement, l'apprentissage de la structure matérielle n'est pas limité par la résolution, mais par la capacité de traiter des informations dans le contexte d'arrangements atomiques, indépendamment de la résolution ou de la technique. Dans le passé, les chercheurs ont abordé l’identification de la structure à partir de données de diffraction de neutrons et de rayons X à l’aide de modèles d’ajustement de courbe, d’analyse de Rietveld, de coïncidences maximales, de recherches approfondies et de connaissances de matériaux de première main (seize19) Les études antérieures en microscopie électronique révèlent encore plus les complications de l'identification des phases et des structures. Les orientations hors axe et en axe sombre compliquent la complexité des données de diffraction, ce qui peut amener les chercheurs à oublier l'identification des pics de diffraction. Les problèmes de texture sont en partie résolus par la précession de la diffraction électronique, la picographie électronique et les images STEM multidimensionnelles. Cependant, le traitement de l'abondance d'informations générées par ces techniques a encore limité notre capacité à utiliser toutes les formes d'informations (20, 21) Par le passé, George et Wang (22) ont rapporté un système hybride permettant d'identifier les motifs de diffraction, mais ce système n'a pas été étendu pour inclure toutes les structures et tous les motifs matériels. L’opportunité réside dans la limitation du nombre de modèles et l’extension des modèles prédictifs à tous les types de matériaux et cristallographiques. Si nous devions utiliser les capacités de modélisation et de prévision pour déterminer la structure en attente sans connaissances a priori ou ab initio, nous pourrions faire des progrès significatifs en recherche expérimentale, en particulier pour les matériaux composés de multiples orientations et phases. Les exemples incluent les composés d'ingénierie et les systèmes multicouches. En l'absence d'une approche prédictive permettant de traduire les données structurelles brutes à partir d'images de résolution atomique à haute résolution ou de profils de diffraction, la capacité d'identifier des données inconnues est limitée aux modèles et à une expérience de l'ajustement des courbes limitée par des calculs.

Les progrès de la vision artificielle et de l’intelligence artificielle offrent l’occasion d’automatiser et d’accroître le nombre de données cristallographiques et d’images haute résolution (23) Les modèles d’apprentissage en profondeur ont été appliqués à de nombreux problèmes de classification, de segmentation et de compression dans la communauté de la vision par ordinateur (2426) Selon les rapports, un nombre limité de modèles de machine ou d'apprentissage en profondeur a proposé et démontré un échantillonnage de sous-images dans la segmentation et la peinture d'images (27, 28) Cependant, la surveillance des événements actuels et l'augmentation de l'alimentation au microscope sont principalement limitées par les implémentations post-analyse, l'application principale étant la microscopie sur site. L’obstacle à la détermination structurelle cristallographique indépendante consiste à traduire l’ensemble des connaissances des matériaux de base de données actuels en flux de travaux accessibles, ne se limitant pas aux microscopes électroniques à haute résolution et aux diffractomètres (29)

Dans ce rapport, nous présentons une approche pour élargir l'utilisation de l'apprentissage en profondeur pour la détermination de la structure cristalline basée sur des images de diffraction ou de résolution atomique sans connaissances préalables ni modélisation sur la base d'ab initio. Plusieurs modèles d'apprentissage automatique, tels que Naïve Bayes, la forêt de décision et les machines à vecteurs de support, ont été testés avant de conclure que les réseaux de neurones à convolution (CNN) produisent le modèle avec la plus grande précision. Pour déterminer la cristallographie à partir de ces types de données, nous avons formé un CNN à effectuer une classification basée sur la diffraction sans utiliser de métadonnées stockées. Le modèle CNN a été formé à un ensemble de données constitué de positions de crête diffractées simulées de plus de 538 000 matériaux avec des représentants de chaque groupe spatial. En résumé, nous évaluons le potentiel de croissance des prévisions de structures cristallographiques en utilisant l'apprentissage en profondeur pour des expériences hautes performances, ce qui augmente notre capacité à identifier facilement les matériaux et leurs structures atomiques à partir de quatre pics de Bragg.

Résultats

Modèle d'apprentissage en profondeur pour évaluer les informations cristallographiques

Nous validons l’architecture et le flux de travail des réseaux de neurones à partir d’images STEM haute résolution et de la diffraction électronique à partir de titanate de strontium cristallin (SrTiO).3 ou STO) sur un substrat d’oxyde de magnésium (MgO) à structure cubique à faces centrées. La figure 1A est une image STEM du contraste de masse atomique de l'échantillon général, avec la partie cristalline délimitée. En utilisant les capacités de haute résolution d'un STEM à correction d'aberration avec une résolution inférieure à Angstrom, la Fig. 1B est une résolution atomique d'image à fond noir annulaire grand angle des atomes individuels de Sr, Ti et O, orientée de préférence de la configuration de l'axe des zones (100) illustrée sur la figure 1C par espèce atomique. La figure 1D est une transformation de Fourier rapide (FFT) de l'image à résolution atomique prise le long de la même orientation, avec cette direction cristallographique préférée. Sur la base de la FFT, la figure 1E représente l'intégration azimutale en deux dimensions du motif transformé dans un profil unidimensionnel. Le modèle et le profil fournissent les détails de la classification structurelle pour classer et prédire la structure en utilisant notre approche de modèle d'apprentissage en profondeur.

Figure 1 Architecture de données de réseau neuronal et flux de travail pour la détermination de groupes d'espaces cristallins à partir d'images atomiques expérimentales à haute résolution et de profils de diffraction.

(ONGLE) N'importe quel matériau dans une STEM, dans ce cas des îlots STO cristallins répartis sur un substrat de sel gemme MgO, des images peuvent être obtenues simultanément avec (oui) Images STEM à contraste de masse atomique haute résolution et (C) découplé avec une zone sélective. (re) FFT pour révéler les détails structurels du matériau. (mon) Sur la base de la diffraction aux électrons ou FFT d’une image atomique, une intégration azimutale bidimensionnelle traduit ces informations en un profil d’intensité de diffraction unidimensionnel pertinent à partir duquel les positions des pics relatifs dans l’espace réciproque peuvent être indexées. arb. unités, unités arbitraires. (F) Semer la prédiction de la cristallographie est une classification hiérarchique qui utilise un modèle de réseau neuronal à convolution unidimensionnelle répliqué en (soleil), chaque couche de la famille dans le groupe d’espaces forme une architecture imbriquée. Sur la base des positions maximales dérivées dans le profil d'intégration azimutal, la prédiction STO est rapportée dans le tableau 2.

Exploitation de la classification basée sur l'apprentissage en profondeur pour la construction et la formation d'informations cristallographiques dans des bases de données de matériaux publics et établis, y compris la base de données ouverte sur la cristallographie, la base de données de projets matériels, les bases de données cristallographiques du minéralogiste américain et de la base de données sur la structure cristalline inorganique3035) La figure 1F est l’architecture CNN unidimensionnelle utilisée pour former et évaluer un ensemble de données d’entraînement hiérarchique composé de 571 340 cristaux individuels répartis en sept familles, 32 genres et 230 groupes spatiaux cristallographiques individuels. À chaque niveau de la hiérarchie, nous formons un réseau de neurones afin de former une hiérarchie imbriquée pour la classification, comme illustré à la figure 1G. Chaque CNN comprend six blocs de convolution avant trois couches denses et une couche Softmax pour la classification. Les blocs de convolution sont formés d'une couche de convolution, d'une couche de regroupement maximum et d'une couche d'activation. Les couches convolutives ont une taille de noyau de deux et commencent avec 180 canaux, réduisant à 45 canaux dans les six blocs. À partir du quatrième bloc, l'abandon est appliqué après la couche de regroupement. L'attrition commence à 0,1 et va jusqu'à 0,2 et 0,3 dans les cinquième et sixième blocs, respectivement.

Sur la base de l'entrée de l'image de résolution atomique STO STEM, l'ordre de classement des prédictions effectuées à partir des profils basés sur des images FFT est le suivant: 225 (Fm

3¯

métro), 221 (Pm

3¯

métro), 205 (Pennsylvanie

3¯

) Après validation avec la structure cristalline connue, nous déterminons que le cristal est structuré comme un groupe d’espace numéro 221, Pm

3¯

métro, ensuite orientés selon les axes de (100) zones contenant les familles (200) et (110) de réflexions cristallographiques. L'utilisation de flux de travail et de canalisation de données fournit le cadre général pour la classification de tous les matériaux connus et la flexibilité nécessaire pour améliorer le modèle à l'avenir.

Formation aux données de diffraction pour la classification structurelle hiérarchique

Initialement, environ 650 000 structures individuelles ont été sélectionnées pour des doublons ou d’autres erreurs possibles. Un système de pondération a été appliqué à chaque classe et a été attribué pour traiter l’apparition de types de cristaux trop représentés, en observant des déséquilibres importants entre les familles de cristaux, les groupes et les groupes d’espaces peuplés allant de 136 534 à moins de 1000 (3638) Le tableau 1 indique les exactitudes globales et les statistiques de population pour chaque niveau de la hiérarchie. Nous étiquetons les fichiers de cristaux par famille, genre et espèce et utilisons l’étiquette correspondante pour différents niveaux de la hiérarchie afin d’entraîner et d’évaluer les modèles. Le tableau résume la population et la précision en général en sept classes de cristaux et en groupes de symétrie de 32 points. Ensuite, chaque fichier a généré un profil de diffraction différent basé sur l'angle de Bragg correspondant, en utilisant 571 340 structures cristallines. Plus tard, nous générons interplanaire re-espaces à chaque niveau de la hiérarchie pour former le modèle. La résolution dans le signal binaire individuel, qui consiste en un vecteur d’intensité normalisé par rapport à l’angle de Bragg, a été fixée à 0,5 °.

tableau 1 Statistiques de population et exactitude de la formation évaluées.

Population déclarée pour les structures individuelles sur les familles et les sexes qui constituent une base de données de 571 340 structures totales. Notez que N / A apparaît pour les genres avec une seule classe.

La figure 2A montre les matrices de confusion évaluées sur 136 534 structures choisies au hasard de 571 340 structures familiales totales, y compris des exemples des meilleurs et des pires schémas de classification illustrés à la figure 2B. Comparées au niveau du sexe, les matrices de confusion cubique et orthorhombique illustrent les problèmes de déséquilibre dans la hiérarchie et le schéma de classement dans les données malgré la pondération au cours de la formation. L'exemple met en évidence la hiérarchie de classification analogue à l'architecture de réseau imbriquée capable de prédire la structure aux niveaux de la famille, des genres et des groupes spatiaux. Les prédictions le long de la diagonale sont de vraies prédictions positives; Une concentration de pourcentages élevés le long de la diagonale indique un modèle précis.

Figure 2 Evaluation du modèle de matériau de symétrie faible à élevée.

Sur les 571 340 structures totales, 136 534 structures choisies au hasard ont été utilisées pour évaluer le modèle au niveau de la famille, en trouvant une concentration élevée principalement le long de la diagonale 1: 1. À un niveau inférieur au niveau de genre, nous comparons davantage les matrices. de confusion de meilleure et de pire étiquetée de familles de cristaux cubiques et orthorhombiques, mettant en évidence le niveau de précision le plus élevé et le plus faible formé dans l'architecture de réseau neuronal imbriqué. Voir Matériel supplémentaire pour les matrices de confusion qui accompagnent toutes les familles et tous les genres de verre.

Optimisation et modélisation de la canalisation pour l'analyse cristallographique.

En raison du manque d’excellents exemples canoniques ou d’un niveau de référence humain, le modèle d’apprentissage en profondeur a été comparé à d’autres algorithmes d’apprentissage automatique (39) L'architecture du modèle a été testée à différentes profondeurs, nombres de paramètres, combinaisons de couches et taux d'abandon. L'architecture du modèle final sélectionné se compose de six blocs de convolution. Le regroupement maximum et l'attrition ont été sélectionnés en fonction des performances, du nombre de paramètres pouvant être entraînés et de la préservation des informations spatiales, puis en ajustant le dernier bloc de couches denses. Nous avons également déterminé trois couches denses avant que la classification ne devienne optimale pour obtenir la plus grande précision.

Lors de l'optimisation de l'hyperparamètre, une taille de lot de 1 000 a été choisie, ainsi que la pondération par occurrence de classe pour augmenter la prévalence de classes plus rares dans le gradient de chaque lot. Le nombre de pics utilisés pour classifier la structure a eu un effet significatif sur la précision de la prédiction. La figure 3 compare le nombre de pics présents aux précisions mesurées pour chaque famille sur la base des matrices de confusion fournies. Les matrices de confusion sont organisées en sept familles de cristaux au niveau du genre, ce qui constitue la hiérarchie de classe, suivie du nombre de pics utilisés. Un effet identique est également observé au niveau du groupe spatial. Le tableau S1 présente des comparaisons avec d’autres méthodes d’apprentissage automatique, notamment les forêts de décision, les machines à vecteurs de support et le modèle Naïve Bayes.

Fig. 3 Optimiser CNN et le pipeline en temps réel.

Le nombre de pics utilisés par famille compare la sensibilité et la précision du modèle. Sur la base de ces matrices de confusion, un seuil strict est utilisé pour sélectionner quatre pics dans la mise en œuvre actuelle. Le résultat est le plus haut niveau de précision, de vitesse prédictive et de compression des informations basée sur les structures d’image et les diagrammes de diffraction en microscopie électronique.

En outre, nous évaluons le modèle d'apprentissage approfondi pour l'analyse en temps réel sur une machine de bureau dotée d'une seule unité de traitement graphique (GPU) afin d'évaluer l'efficacité, la sensibilité et la nécessité pour l'informatique de réaliser une détermination cristallographique augmentée de manière accessible. . La seule machine GPU utilisée au moment de l’exécution disposait d’une carte graphique GTX 1050ti de 3 Go et d’un processeur quad-core i7 à 3,2 GHz. Ce modèle, capable de fonctionner sur un seul ordinateur, permet de trier des lots de 1 000 profils chargés en séquence. vitesse de 2600 à 3500 prévisions / s. Au contraire, lorsque les mêmes profils sont chargés individuellement, le modèle est classé beaucoup plus lentement à une vitesse de 29 prédictions / s. Les taux de classification sont les mêmes pour les prédictions entre familles, genres ou groupes spatiaux. La prédiction de groupes spatiaux pour 48 289 observations composées d'une seule famille a pris 13,2 s, ce qui équivaut à 3 525 prédictions / s. Par la suite, la possibilité de classer la structure de diffraction à la seconde près permet une accélération significative de l’acquisition et de la prévision d’au moins deux ordres de grandeur, en fonction de la capacité actuelle des experts à prédire et à approfondir l’analyse sans connaissances préalables. .

Analyse de diffraction pour les matériaux de haute et basse symétrie

Soulignant un flux de travail généralisé sur plusieurs familles de cristaux, nous rapportons plusieurs validations expérimentales. Les chercheurs ont utilisé des images haute résolution et sélectives …

Promotion chez notre partenaire