Plateforme big data pour l'agriculture de précision
Problème / Besoin
Les signaux agricoles bruts (météo, cultures, sols, rendements) arrivaient dans des formats hétérogènes sans couche unifiée de stockage et de calcul, bloquant la transformation en fonctionnalités produit.
Solution
Conçu et déployé une architecture big data combinant un data lake Hadoop, un cluster Apache Spark et ElasticSearch. Ingéré plus de 100 Go de données agricoles depuis plusieurs sources (données marché scrapées, feuilles de calcul, PDF, images) couvrant informations sur les cultures, engrais, production de rendement, pluviométrie et climat. Construit des pipelines d’ingestion et de transformation de bout en bout transformant les données brutes en features ML pour l’app smart-farming.
Outils
Hadoop·Apache Spark·ElasticSearch·Python
