Plateforme big data pour l'agriculture de précision
Problème / Besoin
Les données agricoles arrivaient dans des formats variés et nécessitaient une couche unifiée de stockage et de calcul pour l’analyse et le développement du produit.
Solution
Conçu et déployé une infrastructure de données en production combinant un data lake Hadoop, un cluster Apache Spark et Elasticsearch. Traité plusieurs centaines de gigaoctets de données agricoles provenant de plusieurs sources et construit des pipelines d’ingestion et de transformation pour produire des données prêtes pour le machine learning.
Outils
Hadoop·Apache Spark·Elasticsearch·Python
