L'apprentissage d'une IA
Elle a appris toute seule à marcher, sauter, courir.
Il y a une petite nuance à faire que beaucoup de personne ne font pas sur cette vidéo. Pour tous les haters, je prévois, je ne dénigre aucunement la quantité énorme de travail/code que ca demande !
Effectivement elle apprend à "marcher" mais seulement pour un niveau ( j'appel niveau les différents mondes présentés ).
Pour c'est important, un enfant quand il apprend à marcher, il va être de plus en plus apte à faire face à toutes les situations de courses, marche sur différents terrains.
La l'IA va "marcher" et modifier sa marche mais il devra recommencer sa phase d'apprentissage pour tout nouveau niveau qui lui est fournit, en tout cas c'est ce que les échecs montrés dans la vidéo me donne comme impression.
youtube. com /watch ?v= qv6UVOQ0F44 ( enlevez les espaces, je suis pas autorisé à poster des liens pour le moment ... )
Pour ceux que ca interesse avec un peu plus de détailles. A garder à l'esprit que cette vidéo présente les réseaux de neurones qui sont une branche du deepLearning mais pas la seule qui existe.
@Lepticele: A titre perso je ne parlerais pas de niveau mais plutôt de types d'obstacles. Du coup on se rapproche beaucoup plus de l'apprentissage d'un enfant car même si tu change de map, si il reconnait l'obstacle il saura le passer.
@Ieno: Bah justement j'arrive pas à savoir. Est-ce que c'est un die and retry ( en plus complexe forcement ) ou il essaye différentes fonctions motrices, ou des combinaisons pour franchir l'obstacle auquel cas il pourra le reproduire si il arrive à identifier un obstacle semblable. Ou est ce que c'est un die and retry en mode à j'ai fait un metre de plus en faisant ca donc je vais continuer ( un peu comme sur la vidéo que j'ai link, je sais pas si tu as eu le temps de regarder ).
Si tu as des infos en plus j'en suis friand ( pas trop le temps de faire des recherches en ce moment my bad)
@Lepticele: De ce que j'ai compris, c'est du die and retry mais avec quelques différences comparé à ta vidéo.
Premièrement, un squelette parmi les 3 est donné à l'IA. Celle-ci découvre son corps et trouve une façon de se déplacer avec, il n'y a pas d'action pré établi ce qui fait que son mouvement peut changer d'un try à l'autre. Ensuite, elle a juste une instruction lui disant, voilà ton point A et tu dois aller au point B. L'IA possède des sensors qui font office d'yeux et lui permettent de voir et comprendre un obstacle ainsi que sa propre position. De là, une fois l'obstacle analysé, l'IA va déterminer des actions pour passer cette obstacle, elle apprendra de ses échecs jusqu'à le passer en utilisant différentes combinaisons de mouvement.
Dans le cas de ta vidéo sur Mario, l'IA évolue dans un environnement 2D avec des obstacles qui ne changent pas sauf les ennemies qui se détermine de manière binaire (un ennemie est présent à ce moment: l'ennemi marche donc je saute / l'ennemie est au dessus donc je marche, c'est le seul moment ou elle réfléchit, le reste est fixe), de plus Mario possède un squelette avec des actions prédéterminées, l'IA n'a pas besoin de les crées mais juste comprendre le résultat d'une action.
Dans la vidéo ici, l'IA évolue dans un environnement 3D et peut sur plusieurs essaies ne jamais reprendre le même chemin. L' exemple le plus flagrant est celui ou l'IA marche sur un sol avec des carrés surélevés et enfoncés, si l'IA cherche à chaque fois à améliorer son passage, elle peut ne pas être exactement dans le même axe que la fois précédente ce qui change complètement la manière d'aborder l'obstacle. Si on était sur du 2D il y aurait seulement 2 états, mais là, vu qu'il est en 3D il peut rencontré une multitude d'états ce qui rend le réseau neurale beaucoup plus complexe et qui le rapproche plus de celui d'un enfant.
Petite aparté pour ta question '' Est-ce que c'est un die and retry ( en plus complexe forcement ) ou il essaye différentes fonctions motrices, ou des combinaisons pour franchir l'obstacle auquel cas il pourra le reproduire si il arrive à identifier un obstacle semblable''
Pour moi dans les vidéos c'est un mix des 2, une combinaison de mouvements déclenche la réussite ou l'échec. Ce qui change, c'est le nombre de possibilités d'actions et de mouvements ainsi que de position dans l'espace.
Prend quand même des pincettes avec ce que je dis ! Je ne suis pas dev et je me base sur ce que j'ai compris des 2 vidéos. Je peux me tromper !
@Ieno: Pavé cesar je vous salue !
Tu parles du concept de compréhension, si il comprend ce qui l'entour et les obstacles effectivement c'est un bon monstrueux dans l'IA. Tu prends mario, le réseau de neurone permet des combinaisons mais il ne comprend pas à proprement parlé ce qu'il fait, il essaye, ca marche ou ca marche pas mais il sait pas pourquoi ca à marché. Il sait juste que l'état final à un meilleur score fait qu'il garde cette solution.
Je vais prendre paragraphe par paragraphe pour te répondre ca sera un peu plus construit.
1 para : je pense que l'idée est la oui, capacité d'observation et il essaye. C'est la ou la notion de compréhension arrive, est ce qu'il comprend ce qui se passe autour ou est ce qu'il essaye un peu a la zeub et quand il a une solution il garde.
2 para : Effectivement l'environnement 2D ne change pas mais le 3D non plus, le sol n'est pas en mouvement, l'initial state est probablement le même à chaque début. Fait que c'est possible de reprendre les mêmes actions que l'itération précédente. Apres c'est sur que passer de 2D à 3D complexifie énormément l'algo ! Mais je suis pas sur que l'algo de mario sait ce qu'est un ennemie ou si il essaye et quand une trouve une solution qui en rencontre pas il la garde encore une fois.
3 para : En soit le changement 2D/3D change la manière dont tu traites l'information mais l'algorithme reste le même. C'est juste qu'au lieu d'avoir un obstacle (x,y) tu rajoutes un z. Alors tu passes avec des matrices etc c'est chiant à faire mais l'idée reste la même sur le traitement.
4 para et fin : Je pense qu'on comprend tous les deux la même chose des vidéos, on est sur la même longueur d'onde ! J'ai quelques notions en plus puisque je suis développeur mais pas IA donc je me pose les mêmes questions que toi. J'espere pas avoir été trop confu et fait avancer le schmilblick
@Lepticele: Il faudrait une vrai conscience pour que l'IA comprenne réellement pourquoi ça a marché. Pour moi la compréhension de l'obstacle ce limite à sa forme et l'espace qu'il prend. Par contre dans sa tentative de résolution il va tenter des trucs plus ou moins aléatoire mais qui lui semble être une bonne réponse à l'obstacle.
Je suis d'accord pour la 3D mais certains obstacles comme celui des poutres qui bascule en fonction du poids rajoute une dimension impressionnante à l'environnement et il y a une forme de mouvance à comprendre.
Sinon non t'inquiète tu n'as pas rendu le truc plus confus, on manque juste d'informations sur le programme pour vraiment comprendre ce qu'il se passe :)
Tu ne dois accéder à ce site que si tu as au moins 18 ans ou si tu as l'âge légal pour visionner ce type de matériel dans ta juridiction locale, l’âge le plus élevé étant retenu. En outre, tu déclares et garantis que tu ne permettras aucun mineur à d'accéder à ce site ou à ces services.
En accédant à ce site, tu acceptes nos conditions d'utilisation.