Allocation équitable de tâches pour l'analyse de données massives

Quentin Baert (1, 2) , Anne-Cécile Caron (1, 2) , Maxime Morge (1, 2) , Jean-Christophe Routier (1, 2)

1 CRIStAL - Centre de Recherche en Informatique, Signal et Automatique de Lille - UMR 9189
2 SMAC - Systèmes Multi-Agents et Comportements

Many companies are using MapReduce applications to process very large amounts of data. Static optimization of such applications is complex because they are based on user-defined operations, called map and reduce, which prevents some algebraic optimization. In order to optimize the task allocation, several systems collect data from previous runs and predict the performance doing job profiling. However they are not effective during the learning phase, or when a new type of job or data set appears. In this paper, we present an adaptive multiagent system for large data sets analysis with MapReduce. We do not preprocess data and we adopt a dynamic approach, where the reducer agents interact during the job. In order to decrease the workload of the most loaded reducer - and so the execution time - we propose a task re-allocation based on negotiation.

De nombreuses entreprises utilisent l'application MapReduce pour le traitement de données massives. L'optimisation statique de telles applications est complexe car elles reposent sur des opérations définies par l'utilisateur, appelées map et reduce, ce qui empêche une optimisation algébrique. Afin d'optimiser l'allocation des tâches, plusieurs systèmes collectent des données à partir des exécutions précédentes et prédisent les performances en faisant une analyse de la tâche. Cependant, ces systèmes ne sont pas efficaces durant la phase d'apprentissage ou lorsqu'un nouveau type de tâches ou de données apparait. Dans ce papier, nous présentons un système multi-agents adaptatif pour l'analyse de données massives avec MapReduce. Nous ne pré-traitons pas les données et adoptons une approche dynamique où les agents reducers interagissent durant l'exécution. Nous proposons une ré-allocation des tâches basée sur la négociation pour parvenir à faire décroitre la charge de travail du plus chargé des agents reducers et ainsi réduire le temps d'exécution.

Mots clés: MapReduce programming model

Mots clés: Résolution distribuée de problème; Négociation; Big Data; Données massives

Domaines: Système multi-agents [cs.MA]; Modélisation et simulation; Intelligence artificielle [cs.AI]

Quentin Baert, Anne-Cécile Caron, Maxime Morge, Jean-Christophe Routier. Allocation équitable de tâches pour l'analyse de données massives. Journées Francophones sur les Systèmes Multi-Agents (JFSMA), Julien SAUNIER, Oct 2016, Saint Martin du Vivier, France. pp.55-64. ⟨hal-01383096⟩