Apprentissage par transfert et données mixtes pour évaluer l'importance de crues à partir d'articles d'information

Résumé. Dans cet article applicatif, nous décrivons l’utilisation de propriétés textuelles et visuelles par des réseaux de neurones profonds pour évaluer l’importance des crues dans les articles d’information. En particulier, nous estimons la pertinence du transfert de modèles pré-entrainés sur des corpora conceptuellement proches. Nous évaluons également l’apport de modèles à branche double, qui combinent les représentations denses d’un texte et d’une image associée. Nous comparons la performance de ces variantes méthodologiques au moyen des données distribuées dans le cadre de l’atelier MediaEval MultiMedia Satellite (MMSat) 2019. Les résultats présentés ici ont fait l’objet d’une communication à l’atelier : le présent article propose une version significativement étendue des notes techniques accompagnant les prédictions réalisées sur l’ensemble de test de l’atelier MMSat.

[1]  Wei Shi,et al.  Attention-Based Bidirectional Long Short-Term Memory Networks for Relation Classification , 2016, ACL.

[2]  Lukasz Kaiser,et al.  Attention is All you Need , 2017, NIPS.

[3]  Xiang Zhang,et al.  Character-level Convolutional Networks for Text Classification , 2015, NIPS.

[4]  Andreas Dengel,et al.  The Multimedia Satellite Task at MediaEval 2018 , 2017, MediaEval.

[5]  Georgios Tzimiropoulos,et al.  Human Pose Estimation via Convolutional Part Heatmap Regression , 2016, ECCV.

[6]  Bolei Zhou,et al.  Learning Deep Features for Discriminative Localization , 2015, 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR).

[7]  Andrew Zisserman,et al.  Very Deep Convolutional Networks for Large-Scale Image Recognition , 2014, ICLR.

[8]  Jeffrey Pennington,et al.  GloVe: Global Vectors for Word Representation , 2014, EMNLP.

[9]  Nicolas Audebert,et al.  Multimodal deep networks for text and image-based document classification , 2019, PKDD/ECML Workshops.

[10]  Bolei Zhou,et al.  Places: A 10 Million Image Database for Scene Recognition , 2018, IEEE Transactions on Pattern Analysis and Machine Intelligence.

[11]  Alex Graves,et al.  Supervised Sequence Labelling , 2012 .

[12]  Vishal M. Patel,et al.  Learning Deep Features for One-Class Classification , 2018, IEEE Transactions on Image Processing.

[13]  Yann LeCun,et al.  Dimensionality Reduction by Learning an Invariant Mapping , 2006, 2006 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'06).

[14]  Diyi Yang,et al.  Hierarchical Attention Networks for Document Classification , 2016, NAACL.

[15]  Jinfeng Yi,et al.  EAD: Elastic-Net Attacks to Deep Neural Networks via Adversarial Examples , 2017, AAAI.

[16]  Joost van de Weijer,et al.  Multi-modal Deep Learning Approach for Flood Detection , 2017, MediaEval.

[17]  Jimmy Ba,et al.  Adam: A Method for Stochastic Optimization , 2014, ICLR.

[18]  Thomas Tamisier,et al.  Transfer Learning and Mixed Input Deep Neural Networks for Estimating Flood Severity in News Content , 2019, MediaEval.

[19]  Li Fei-Fei,et al.  ImageNet: A large-scale hierarchical image database , 2009, CVPR.

[20]  Mark Sandler,et al.  MobileNetV2: Inverted Residuals and Linear Bottlenecks , 2018, 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition.

[21]  Sergey Ioffe,et al.  Rethinking the Inception Architecture for Computer Vision , 2015, 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR).

[22]  Nigel Collier,et al.  Bidirectional LSTM for Named Entity Recognition in Twitter Messages , 2016, NUT@COLING.

[23]  Ruslan Salakhutdinov,et al.  Unifying Visual-Semantic Embeddings with Multimodal Neural Language Models , 2014, ArXiv.

[24]  Michael V. McConnell,et al.  Prediction of cardiovascular risk factors from retinal fundus photographs via deep learning , 2017, Nature Biomedical Engineering.