0:00 parfait et bien écoute donc aujourd'hui il est temps pour moi de de te rendre compte de mon travail sur ce projet de déploiement d'un modèle dans dans le Cloud euh au menu de de cette présentation on va déjà effectuer un une rapide un rapide rappel de la problématique ensuite j'enchaînerai sur la description de l'environnement Big Data que que j'ai mise en place on continuera avec la présentation du ENF des traitements dans le Cloud que l'on effectue pour mener à bien ce projet euh en principe on devrait pouvoir faire une démonstration en P Spark enfin du script en P Spark dans le Cloud et puis on terminera avec une synthèse mais une conclusion alors on commence avec la problématique donc la problématique pour nous entreprise fruitite elle est de pouvoir classifier des fruits et légumes
0:48 à partir de leur images de leurs photos alors ce qui peut-être simple à faible échelle va devenir un petit peu plus compliqué lorsque l'onon aura affaire à à dans l'astu du projet à à déployer ce projetl euh et le mettre production lorsqu'on aura faire un afflux de données beaucoup plus important une exclusion des données donc là on sera obligé et on sera amené à utiliser des outils de du cloud du Big Data et aussi également à faire du calcul distribu donc pour ce projet on a à notre disposition un dataset comprenant 131 fruits et légumes en un peu plus de 90000 images ces images sont au format de 100 par 100 pixels ell sont répartis dans deux dat un training et un test alors aujourd'hui cette notion ces notions de training test mais pas vraiment importante pour notre projet
1:33 puisque on va simplement avoir besoin de faire la preuve de concept du projet de de la mise de notre du travail plutôt dans le clou avec l'usage du datata donc pour cela on aura simplement besoin de faire appel à à deux catégories une catégorie de fruits avec seulement 10 abricots et une catégorie de légumes avec seulement 10 avocats on donc Contin avec l'environnement big datata alors rappelle de de notre besoin on va avoir besoin de de faire face à un afflux très important peut-être explosif de données à l'avenir et en tout cas après la livraison du projet et pour cela donc on va s'appuyer sur on va dire de deux outils un premier outil àws Amazon Web
2:18 Services qui comprend un nombre assez assez important de de de services on va pas tous les utiliser naturellement en tout cas c'est ce qui va nous permettre de déporter he dans le Cloud notre notre travail notre besoin de calcul et euh ensuite on va également effectuer euh un appel à à au framework Spark hein qui permet du calcul du calcul justement distribué dans le Cloud et donc on va utiliser pour cela P Spark qui nous permet de qui est une interface en fait pas une interface oui ENF si une interface une API euh pour travailler en python puisque Spark est codé en en ce caslà euh on continue avec la présentation donc de cet environnement hein euh AWS en fait est constitué d'un nombre assez important de de service mais pour notre projet on va en utiliser que trois euh
3:05 donc un premier service Amazon S3 Amazon simple storage service qui va nous permettre d'héberger l'ensemble de nos fichiers pour travailler mais également qui va nous permettre de récupérer en sortie les le résultat de notre travail en l'occurrence pour ce projet la sortie principale c'est euh le la réduction de dimension donc on utilise également un deuxième service qui s'appelle qui s'appelle Amazon donc pour elastic map Redu donc cette ce ce cluster EMR en fait c'est quoi c'est tout simplement une instance EC2 donc élastique Compute Cloud d'Amazon mais qui est dédié au calcul distribué donc on aurait pu à nous-même prendre des des instance EC2 paramétrer tout ça mais voilà ça aurait été beaucoup plus fastidieux et et
3:50 compliqué euh et donc on a cette ce service EMR qui est qui est qui est du préch et quasi cllient m voilà pour pour ce travail de calcu distribué et puis dernier service Dews que nous allons utiliser il s'agit du service Ian pour identity and Access Management et qui va nous permettre en fait de définir les utilisateurs qui vont pouvoir accéder à à à notre travail euh et qui pour lesquels on va aussi définir des politiques euh donc les droits les droits d'accès les droits d'accès à notre travail en particulier en ce qui n concerne ici le le le le service S3 euh parlons donc justement de ce service S3 alors on voit ici sur donc le service de stockage je rappelle on voit ici sur
4:36 cette copie d'écran que l'on a de compartiments autrement appelé bucket alors on va aller voir un petit plus plus un petit peu plus en détail euh voilà donc le le le service SS3 ici on a deux buckets en fait donc le premier bucket qui est qui a été créé automatiquement et qui est destiné à recueillir les logs de notre activité ça va pas être trop ce qui va nous intéresser aujourd'hui aujourd'hui ce qui nous intéresse c'est ce bucket là ypv P8 data donc que j'ai créé depuis l'interface en ligne de commande d'wsws C et euh ce ce bucket en fait contient différents fichiers et dossiers donc à la fois qui nous servent en entrée pour euh pour recueillir par exemple nos fichiers d'image et mais également en sortie pour recueillir nos sorties ici la la réduction dimension alors un peu
5:23 dans le détail on a un premier fichier bootstrap mr.sh donc c'est un fichier bootstrap qui va être utilisé lors de l'instantiation de notre cluster R qui va nous permettre d'installer directement automatiquement les les librairie qui nous intéresse par exemple ici pandas mais pas que on a également en entré ici le fichier pas le fichier le dossier plutôt Jupiter et on va qui nous amène au notebook que l'on va utiliser pour travailler en P parark directement dans le clown euh on a ensuite ben un dossier test qui contient les sous-dossierers de nos images donc un dossier comme je l'ai dit pour un fruit abricot avec 10 images et puis un un sous-dossier avocat avec 10 images de
6:09 d'avocat voilà pour le dossier S3 ah ben j'ai pas terminé non donc on a les results alors les results ce sont les sorties de nos réductions de dimension donc j'ai effectué les les les sorties en deux formats donc un premier format au format parquê hein on voit ici les différents fichiers qui constituent cette sortie et un une sortie cette fois-ci au format CSV donc avec un fichier unique result au format donc CSV alors on a terminé avec la présentation de cette de ce stockage S3 on va pouvoir passer à l'autre brique de l'environnement BigData à savoir doncr élasticque mapos donc on voit ici sur cette copie d'écran que j'ai un certain nombre de de clusters qui ont été créés et en réalité les derniers sont des
6:54 clones des précédents j'ai peut-être modifié de TR choses mais on reprend pas tout au départ on ne fait que implémenter des nouvelles choses donc voilà j'ai créé bah ce matin un dernier cluster qui est bah qui est prêt en attente euh ben sur lequel j'ai eu du mal à installer donc le peut-être le tunnel SSH on va voir ça ensuite mais euh bon si on va regarder de quoi il retourne en fait donc on voit que sur ce cluster j'ai installé la version 6.30 de l'EMR et en même temps que l'instanciation de ce de ce cluster j'ai fait installer différentes appliqu différentes applications comme par exemple ici Jupiter qui nous permettra de travailler avec un un notebook Jupiter Spark bien sûr pour effectuer le calcul distribué tensor flow qui va pouvoir recueillir le modèle Mobil net
7:41 V2 et également qui va nous permettre avec une avec une méthode de transformer les images en a alors qu'est-ce qui est intéressant sur ce cluster ben on peut voir ici au niveau de la sécurité euh notamment euh que euh si je dis pas de bêtis voilà voilà normalement j'ai installé un tunnel SSH hein donc on voit ici euh que ce soit pour l'IPv4 ou l'IPv6 et accessible à tous euh depuis l'extérieur hein sur le port 22 donc je sais pas si je me suis trompé tout à l'heure dans la dans l'instantiation de ce tunnel SSH on verra ça euh qu'est-ce qui est intéressant sur le le cluster autrement alors on va voir peut-être le secteur le l'amorçage avec l'appel à au fichier boot strap he qu'on a vu sur le sur le L3 qui est qui est là donc on fait appel à ce fichier de strap pour
8:27 installer donc des librairies telles que as euh au niveau du matériel qui est utilisé alors j'ai utilisé les matériels standard qui sont proposés de base euh que ce soit pour le le l'instance maître et pour les instances esclaves donc c'est un processeur avec 4 cœurs et 16 Go de mémoire vive d'accord donc voilà ça c'est voilà pour l'ensemble des des trois instants donc le pour le groupe pour le cluster euh qu'est-ce qui est intéressant ben les applications alors c'est là que j'ai j'ai du mal à normalement ici euh ça devrait ouvrir le le Jupiter hub on voit que donc j'ai les quatre applications enfin oui que j'ai demandé à l'instantiation euh donc c'est là que j'ai un souci normalement ça devrait m'ourrir le le voilà j'ai
9:13 problème d'accès pourtant j'ai instantci j'ai bien mis ah j'ai un problème sur le proxy ouais bon c'est pas c'est pas le moment de voir ça tout de suite je vais continuer ma présentation hm hm tu as pas changé d'IP ou quelque chose comme ça non non je non non non puis euh j'ai j'ai fait en euh non j'ai pas j'ai pas j'ai pas mis mon IP précise je suis resté en accès tout tout accès extérieur d'accord on va revenir quand même sur la présentation euh au niveau de la configuration euh on voit que ben j'ai ici euh le lien avec le le notebook hein qui est sur sur le sur le S3 donc voilà normalement tout est en place je comprends pas pourquoi ça ça fonctionne pas euh bon on va revenir on va revenir sur la présentation voilà pour donc la
9:59 présentation de du du du cluster EMR euh on va pouvoir parler du troisème service IAM donc identity and Access Management euh pour lequel euh on voit sur cette copie d'écran que j'ai créé deux utilisateurs alors on vaer les regarder un petit peu plus en détail directement alors il faut savoir que lorsque l'on crée le le compte le compte AWS on a un compte dit racine hein il est quand même pas très recommandé d'utiliser euh ce compte racine directement donc pour ça j'ai créé un compte administrateur euh mais ce qui nous intéresse aujourd'hui c'est plutôt ce point là que j'ai créé donc à ton attention en tant que utilisateur évaluateur donc j'ai cré un utilisateur évaluateur et j'ai créé également des politiques des politiques qui en fait sont tout simplement la
10:45 définition des des enfin les autorisations par rapport à à mon compte donc en l'occurrence j'ai créé une politique S3 évaluateur lecteur seul que j'ai rattaché à l'utilisateur donc évaluateur alors si on regarde en détail qu'est-ce que autorise cette politique elle autorise et bien un accès complet en lecture et en listing des différents dossiers sous-dossiers et fichiers de l'ensemble de M bucket éébergé sur S3 sur le service S3 donc voilà pas pas de pas d'accès en modification ni en écriture c'est c'est bien normal pour le service AAM alors et bien il est temps maintenant de passer euh au traitement dans le Cloud que j'ai effectué alors euh on commence au départ par les images
11:30 he qui sont hébergées sur S3 et on va les charger de façon distribuée au format binaire donc on voit ici le le content c'est du binaire et ensuite on sait que nos nos fichiers nos images plutôt elles sont hébergées avec un chemin et notamment des sous-dossiers et la le dernier comment dire nœud de ce de ce chemin c'est le le nom de de la catégorie hein donc ici avocat si j'avais plus lo on aura aussi les les abricots donc on récupère on va splitter le chemin d'accès et on va récupérer pour cela le CET avantdernier nœud ici et ça va être notre Lab notre étiquette ensuite au niveau du modèle et bien on récupère en fait avec avec comment dire le enfin on
12:17 récupère Plô un modèle qui est qui est déjà déjà défini qui s'appelle Mobil net V2 un modèle modèle créé par par Google et alors on va pas le récupérer entièrement on va récupérer on va le récupérer jusqu'à l'avant-dernière couche à savoir que la dernière couche de classification ne nous intéresse pas ici puisque bah on fera cette classification ultérieurement ce qui nous intéresse ici ici c'est de récupérer un vecteur de de de dimension 1280 donc 1280 bah feater en fait et sinon pour le modèle on aura on a également récupéré les poids calculés de de ce modèle que on va réimplanter sur notre nouveau modèle he avec la sans la dernière couche et en fait et ensuite on on diffuse également euh ces poids sur l'ensemble de de nos workers de no de nos instances alors au niveau des
13:05 features on part des on parle d'images qui sont je l'ai dit dimensionné en 100 par 100 pixels or notre modèle n'accepte en entrée que des images de 224 par 224 pixels donc il est nécessaire pour nous euh ici de de procéder à une première phase de redimensionnement de nos image ensuite on va pouvoir bah featuriser nos nos images avec le modèle notre nouveau modèle hein euh et on va obtenir en fait un er alors c'est problématique pour la suite parce que euh cet er on peut pas on peut pas euh le l'utiliser tel que pour procéder à la réduction de dimensions donc on est obligé de transformer cette reê en en vecteor hein donc ici le résultat final c'est un vecteur al c'est ça se voit pas forcément ici mais simplement euh j'ai
13:50 un petit tit je sais pas j'ai remarqué la la différence entre le RA le vecteor qui est assez minime euh la la la petite différence c'est que au niveau de le Raay la séparation entre les feat elle se fait avec une virgule espace ici on voit pas parce que j'ai pas j'ai des trois petits points on va on voit pas on voit pas la suite mais au niveau des vecteurs la séparation se fait avec simplement une virgule il y a pas d'espace c'est vraiment un détail visuel mais qui permet de voir la différence entre R et vecteur bon passer ce détail on peut pas peut continuer sur la réduction de dimension donc on rappelle he on part de dimensions des featur de 1280 dimension donc n quand même assez important et on va quand même chercher à travailler sur moins moins de moins de features et pour cela on va effectuer une réduction de dimension mais comme toute réduction de dimension il est quand même recommandé au préalable
14:36 d'effectuer une standardisation des données donc c'est ce que l'on fait ici avec l'outil standard scing et on obtient cette fois-ci les données standardisées et maintenant on peut procéder à la réduction de dimension donc avec une PCA ppark hein je précise on n pas on est pas sur la réduction classique cl enfin classique dont on avait l'habitude jusqu'à maintenant dans les projets précédents mais en ppark on a donc une méthode PCA qui nous donne donc les PC cette dernière colonne PCA features alors ici dans le flou et simplement pour la preuve de concept j'ai eu un objectif de de dimension enfin de deux composantes simplement donc j'ai mis deux composantes on voit pas ici mais théoriquement je n'ai que deux j'ai qu'une seule virgule une séparation avec deux deux features en dessous euh là c'est un travail en local
15:23 que j'ai fait parce que dans ce travail dans le Cloud je ne récupérais que 52 % de la variance totale ce qui peut sembler quand même assez faible 52 % donc en en local cette fois-ci je vais vouloir à partir de combien de composantes sur le même travail mais pour pas faire travailler en tout cas AW pour rien j'ai fait un travail en local où pour voir combien je pouis récupérer de de Varian hein donc avec moins de moins de 20 variances 20 composants pardon on récupère quasi 100 % de la variance he ici on récupère 80 avec 7 composantes on récupère 90 % de la variance avec 10 composantes et 0 19 % avec 17 composants pas mal voilà bon ça c'est c'était une parenthèse on revient au travail dans le Cloud voilà on revient cette fois-ci à la
16:08 démonstration thoriquement dans le CL alors j'ai juste ma copie d'écran normalement si je ça doit renvoyer ver moner écoutez on va essayer de voir pourquoi est-ce que ça pose problème normalement je lance depuis ici ah je crois que j'ai pas le bon j'ai vu que le port le port ici c'est port 94 43 et ça do pas être la bonne c'est pas le bon port que j'ai utilisé on va reprendre ici ici ah non ici c'est [Musique] 8 je vais reprendre je vais reprendre tout le travail qui qui est proposé là
16:54 donc on va prendre Pey donc Pey euh je prends ce nom d'oute euh c'est ici euh c'est c'est bon euh oui il faut que j'aille chercher ma clé SSH dans ici euh creden ouais c'est ça Lash elle est là donc voilà elle est bien au bon format PPK ça c'est bon ensuite et puis tunnel tunnel donc le
17:39 port 81 57 [Musique] ouais c'est là une différence avec ce que j'ai vu tout à l'heure je sais pas si c'est ça qui joue dynamique on ajoute pu thement on est censé ouvrir ah j'avais pas eu ça tout à l'heure voilà c'est bon je pense que ça bonok ça devêre bon normalement donc o estce que c'est non ah ou je passere voil c'est bon y AR je crois et pu J
18:29 je suis rassuré al non mais franchement j'ai galéré tout à l'heure juste avant de voilà donc j'ai mon notebook hein h HM on va pouvoir l'ouvrir voilà donc ben je vais pouvoir lancer euh l'exécution euh complète on va tout relancer voir si tout fonctionne donc euh voilà je sais pas si on aura le temps parce que du coup euh j'ai quoi euh on a commencé ça fait déjà 20 minutes qu'on a commencé j'ai encore un peu de temps euh ouais là du coup j'ai pas pu le faire avant quoi malheureusement non mais c'est pas très grave c'est pas très très grave euh très très bien je termine sur ma je termine sur ma présentation on laisse peut-être
19:14 travailler ça en attendant ouais vas-y parfait sur voilà bon on va dire que la la démonstration je suis quand même rassurer parce qu'au moins euh c'est pas du FL que je ris parce qu'on aurait pu dire que tout ça c'était du du fake mais non ça existe hein je l'ai ça fonctionna alors on on va passer à la synthèse conclusion on reviendra peut-être sur le notebook après donc ben en synthèse voilà j'ai travaillé sur ce projet en deux phases d'abord une phase en local bien sûr pour pas mobiliser des ressources et payer des services ENR pour rien donc on travaille d'abord en local pour valider un petit peu notamment notre notre script en P Park la difficulté pour moi qui Suiss Windows et qui suis voilà je je suis né avec Windows et enfin à 52 voilà on a c'était Windows
20:01 lorsque j'ai débuté et vraiment je je je suis que Windows et j'ai beaucoup de mal avec d'autres environnements j'ai essayer quand même de travailler d'installer un environance park en utilisant une machine virtuelle sous comment s'appelle Virtual Box je crois euh et ça été très très compliqué j'ai fini au final par travailler avec Google collab alors ça reste une une ça reste du travail en local local de porortter son veut mais j'ai j'ai quand même pu travailler en local et avec beaucoup moins de difficulté grâce à acola une fois ceci fait on a pu passer à l'échelle passer à l'échelle passer au travail dans le Cloud et iser des architectures Bata donc notamment la plateforme a service d' WS le service EMR et et là l'installation est vraiment aisée on l'a vu à l'installation directement à l'instantiation des des
20:46 packag et des librairies avec aussi également le comment appelle ça le bootstrap les fich stp donc ça c'était vraiment vraiment facile faut juste faire attention un petit peu à la compatibilité des librairies mais bon c'est quand même assez facile et puis deuxième service de d'ws monétisé le service S3 qui est vraiment très très simple également de d'utilisation les le le coût est vraiment très faible euh et en plus moi pour moi j'ai pu bénéficier ben comme j'ai créé ce compte là tout tout tout neuf je bénéficier d'un d'un crédit pour l'usage de S3 donc ça ça ne coûte rien en l'occurrence pendant pendant mant et et en plus on peut augmenter notre notre usage de S3 de façon illimitée alors en conclusion hein donc normalement ben normalement
21:31 j'ai fait la démonstration de de de l'usage de des outils et des briques de B datata et et différentes briques de de de WS simplement que ici on a étit à l'étape d'une plutôt comment dire sur le sur le principe hein sur la preuve de concept et donc forcément lorsque l'on va livrer le projet euh et qu'on le mettra en production euh on va avoir à faire face à une montée en charge un afflux de données beaucoup plus important et donc on aura toujours la possibilité c'est ce qui est facile avec avec AWS on va avoir ces faculté de redimensionner de façon horizontale dans dans un premier temps si on souhaite donc simplement en augmentant le le nombre d'instances he moi je travaille pour l'instant qu'avec deux trois instances une instance maître et deux
22:18 instances esclaves mais on pourra augmenter le nombre d'instances si on souhaite mais on peut aussi également faire un redimensionnement de notre travail de notre cluster de façon verticale en augmentant la puissance des clusters moi j'ai pris les les clusters de base standard avec timing ah pardon j'ai plus l'UR en face donc voilà donc on peut on peut passer effectivement à des clurs plus puissants plus de de de de cœur plus de mémoire si on souhaite plus de bandes passante voilà j'ai terminé je pense très très clair très bonne présent le sujet est super bien maîtrisé j'ai pas de question on peut passer au débrief d'accord merci en vrai euh alors là j'arrête
23:06 l'enregistrement
