LCC 115 - Interview de Sam Bessalah sur la data science, Hadoop et Mesos

Dans cet épisode, on discute avec Sam Bessalah de ce “nouveau” métier qu’est le data scientist. On explore aussi l’univers Apache Hadoop et l’univers Apache Mesos. Ces endroits sont pleins de projets aux noms bizarres, cette interview permet de s’y retrouver un peu dans cette mythologie.

Enregistré le 16 décembre 2014

Téléchargement de l’épisode LesCastCodeurs-Episode-115.mp3

Interview

Ta vie, ton oeuvre

@samklr
Ses présentations, encore ici et là

Data scientist

Késako ?!
C’est nouveau ? On a toujours eu des données pourtant dans nos S.I. ?!
Le job le plus sexy du 21eme siecle ?
Drew conway’s Data Science Venn diagram

Traiter les données, les plateformes

MapR, Hadoop, … C’est Quoi ? C’est nouveau ? Ca vient d’où ? Comment ça marche ? À quoi ça sert ?

Ca s’intègre à tout ? Et nos sources de données legacy (Mon bon vieux mainframe et son EBCDIC) ?

Où sont passés mes EAI, ETL, et autres outils d’intégration B2C/B2B ?

EAI
ETL
EBCDIC
BI (Business Intelligence)

Hadoop

MapReduce
Doug Cutting
Apache Lucene - moteur de recherche full-text

Apache Hadoop - plateforme de process distribués et scalables
HDFS - système de fichier distribué
Apache Hive - data warehouse au dessus d’Hadoop offrant du SQL-like
Terradata
Impala - database analytique (“real time”) SQL queries etc
Apache Tez - directed-acyclic-graph of tasks
Apache Shark remplacé par Spark SQL
Apache Spark - Spark has an advanced DAG execution engine that supports cyclic data flow and in-memory computing
Apache Storm - process de flux de données de manière scalable et distribuée

Data Flow
Machine Learning - apprendre de la donnée

Graph Lab

Et l’infrastructure dans tout ça ?

De nos bons vieux serveurs qui remplissent les salles machines au cloud (IAAS, PAAS), en passant par la virtualisation (), les conteneurs (XLC, Docker, …) …. Des ressources à gogo c’est bien mais comment les gérer ?

YARN