Data sciences : focus sur le Big Data et un cas pratique en astrophysique

« L’astronomie représente un exemple bien concret du problème de Big Data. En effet les Astrophysiciens, de par les sujets qu’ils étudient, sont des gros producteurs de données.

Avant tout, il faut savoir qu’en Astrophysique, les chercheurs observent à la fois l’infiniment petit et l’infiniment grand, mais également l’infiniment proche et jusqu’à l’infiniment lointain dans le temps puisque l’on cherche, dans cette discipline, à remonter jusqu’à l’origine de l’univers.

A titre d’exemple, actuellement, le grand télescope d’étude synoptique – ou le LLST en anglais – est en construction au Chili, il sera bientôt mis en service en 2020. Avec cet outil, les scientifiques se trouveront face à une énorme avancée technologique qui a forcément une contrepartie : la génération de beaucoup plus de données qu’au préalable.

Il faut savoir que cet outil accumule de l’ordre de 15 Téra octets de données brutes pour une nuit, ce qui correspondra au bout de 10 ans à une dizaine de Péta octets. Dans ce cas précis, il faut bien constater que l’on se trouve face à un problème de Big Data.

Pour exploiter ce type d’équipement, dans un premier temps, il va falloir que l’on soit en mesure d’héberger toutes ces données ce qui nécessite de créer une base de données et de la maintenir, une problématique de Data architecture.

Dans un deuxième temps il faudra référencer et indexer ces données (une part de Data Management).

Enfin, il va être possible de procéder à l’étude et à l’analyse de ces données et c’est là que les méthodes classiques de traitement de l’information interviennent. Il ne va plus être possible de regarder uniquement des données en faisant des graphiques et des analyses statistiques multidimensionnelles en étudiant une variable en fonction d’une autre variable.  Dans un cas tel que celui-ci, il va falloir utiliser des nouvelles techniques beaucoup plus puissantes et performantes comme le datamining : la fouille de données, et également le machine learning, le deep learning, etc… Ces techniques sont vraiment bien représentées et bien maîtrisées chez Soladis.

Ce cas n’est qu’un exemple, mais il montre bien que nous sommes entrés dans une « nouvelle ère » où les scientifiques porteurs de projets et les data scientists, qui apportent de l’expertise et du conseil data-orientés, vont devoir travailler de pair pour pouvoir réussir à gérer ces énormes flux de données et réussir à faire de nouvelles découvertes scientifiques. »