Duel : Homme / machine

Pour les gens qui ont simplement envie de discuter sans souhaiter faire passer d'information particulière.
Message
Auteur
Manfromnowhere
Habitué
Messages : 90
Enregistré le : samedi 29 avril 2017 à 18:37

Duel : Homme / machine

#1 Message par Manfromnowhere » mercredi 17 octobre 2018 à 1:31

Bonjour à tous,

je ne sais pas trop à qui m'adressé ni comment m'y prendre mais je pense que ce serait un rdv très important pour l'humanité et que beaucoup de gens suivrait ça : un duel Homme / Machine, mais pas n'importe lequel.
La machine devra jouer aux Shogi + aux échecs + au go
On ferait venir les 2 meilleurs joueurs de chaque discipline, ce qui ferait qu'une machine jouerai contre 6 hommes en simultanée à 3 jeux différents.
J'aimerais tellement voir une telle confrontation ! On pourrai je ne sais pas, la faire au meilleure de 20 manches avec des parties dans plusieurs endroits du monde et les dernières manches chez Google.

Pensez-vous que je rêve trop ou que c'est possible.
cette confrontation attirerais beaucoup de sponsors, tant dans le milieu de l'informatique que de la finance et du monde entier puis les 3 meileurs joueurs sont norvégien et un américain.

Je veux cette confrontation de tout mon coeur, sincèrement.
pas vous ?

Avatar du membre
olivierfh
Prolifique
Messages : 3342
Enregistré le : mercredi 23 novembre 2016 à 21:00
Localisation : Toulouse

Re: Duel : Homme / machine

#2 Message par olivierfh » mercredi 17 octobre 2018 à 9:11

Avec les réseaux de neurones actuels, pas de doute que la machine va gagner si elle est suffisamment entraînée au jeu: c'est facile pour elle d'apprendre car même si c'est très peu à chaque partie, elle peut faire des parties contre elle-même à très grande vitesse.

Attention car d'après la légende John Henry a gagné contre la machine mais en est mort. :)
Spoiler : John Henry : 
TSA de type syndrome d'Asperger (03/2017) + HQI (11/2016).
4 enfants adultes avec quelques traits me ressemblant, dont 1 avec diagnostic TSA et 1 au début du parcours de diagnostic.

Avatar du membre
Benoit
Intarissable
Messages : 8889
Enregistré le : lundi 28 septembre 2009 à 13:55
Localisation : オルセー
Contact :

Re: Duel : Homme / machine

#3 Message par Benoit » mercredi 17 octobre 2018 à 9:15

Il me semble que pour le Go (qui est de loin le plus complexe "mathématiquement" des trois) c'est réglé, une machine peut sans soucis battre l'humain depuis un ou deux ans.

Après, ça me ne pose strictement aucun problème, d'autant plus que ce sont des humains qui ont écrit une grosse partie des programmes et qu'ils relèvent au moins en partie de la "recherche publique".

Le jour où des boites privées type Google seront entièrement propriétaire de ce genre de choses, là par contre, il sera temps de paniquer. Les bienfaiteurs privés de l'Humanité, il faut toujours s'en méfier, surtout quand ce sont des humains en quête d'immortalité.

Image
Identifié Aspie (広島, 08/10/31) Diagnostiqué (CRA MP 2009/12/18)

話したい誰かがいるってしあわせだ

Être Aspie, c'est soit une mauvaise herbe à éradiquer, soit une plante médicinale à qui il faut permettre de fleurir et essaimer.

Avatar du membre
Bubu
Intarissable
Messages : 7738
Enregistré le : dimanche 19 mai 2013 à 12:03
Localisation : En haut à gauche

Re: Duel : Homme / machine

#4 Message par Bubu » mercredi 17 octobre 2018 à 18:54

C'est un domaine effrayant et fascinant à la fois.
On est arrivé à un stade où les machines sont plus performantes que les Hommes dans bien des domaines.
Les échecs, le jeu de Go depuis peu, le Poker ....

Mais il y a une chose que les chercheurs n'ont pas encore réussi à réaliser : la curiosité.
Pour l'instant, les modèles d'apprentissage nécessitent qu'on prenne l'élève (la machine) par la main.
Il faut dire au système quoi apprendre (et comment).

Les humains et les animaux évolués ont cette curiosité : on ressent donc on apprend. Pas besoin d'un superviseur.
On apprend dès que l'on perçoit. Et les modèles actuels en sont complètement incapables.

Les machines sont excellentes pour apprendre des tâches très ciblées, mais n'ont pas l'instinct d'apprendre.

Je vous conseille les conférences de Yann LeCun qui l'expliquera bien mieux que moi.

(Yann LeCun est un génie dans le domaine des réseaux neuronaux, père de la rétropropagation du gradient de l'erreur (perceptron multi couche) et des réseaux neuronaux convolutifs ...)
TSA, diagnostic établi à mes 33 ans par le CRA de ma région.
"Ce syndrome est caractérisé chez ce patient par l’absence de détérioration intellectuelle, un syndrome dysexécutif, un déficit d'attention"

Avatar du membre
Benoit
Intarissable
Messages : 8889
Enregistré le : lundi 28 septembre 2009 à 13:55
Localisation : オルセー
Contact :

Re: Duel : Homme / machine

#5 Message par Benoit » mercredi 17 octobre 2018 à 18:57

Il existe quand même déjà des formes d'apprentissage "non supervisés".

https://stanford.edu/~shervine/teaching ... d-learning

:mrgreen:
Identifié Aspie (広島, 08/10/31) Diagnostiqué (CRA MP 2009/12/18)

話したい誰かがいるってしあわせだ

Être Aspie, c'est soit une mauvaise herbe à éradiquer, soit une plante médicinale à qui il faut permettre de fleurir et essaimer.

Avatar du membre
Bubu
Intarissable
Messages : 7738
Enregistré le : dimanche 19 mai 2013 à 12:03
Localisation : En haut à gauche

Re: Duel : Homme / machine

#6 Message par Bubu » mercredi 17 octobre 2018 à 19:11

Je suis au courant, salut.
L'apprentissage par renforcement en est un exemple.
On renforce la décision si elle est bonne, on l'affaiblit si elle est mauvaise.
(Markov utilise cet apprentissage mais de façon déterministe, ou plutôt discrète)
Ça existe dans les réseaux de neurones aussi.

Les réseaux de neurones compétitifs sont basés là-dessus.
Carte de Kohonen, inspirée des k-mean, mais avec en plus la notion de voisinage.

En 2ème année j'avais fait un projet pour la fac où un réseau apprend tout seul à jouer à Snake, par ses essais-erreurs.
Avec une grande simplification pour que ce soit praticable. (Résultat atteint en quelques minutes)

Je ne comprends pas pourquoi tout le monde s'acharne sur le modèle de McCulloch et Pitt, à combinaison linéaire.
J'ai comparé ce modèle avec les réseaux utilisant des neurones dont la distance (multi-dimensionnelle) est l'entrée, et la convergence est beaucoup plus rapide.

Mais voilà, j'ai raté ma carrière, tout ce qui m'attend c'est le développement de jeux ...

Mais bref, le réseau n'a pas la curiosité et la liberté d'apprendre, il est contraint d'apprendre et de s'adapter à ce problème très précis.

Après si quelqu'un est capable, de formuler la Vie comme une simple règle, formulée en essais-erreurs, ça évoluera peut-être.


[EDIT]
Pour moi seul pour ce projet, j'avais utilisé un perceptron (une couche, le plus simple des réseaux à combinaison linéaire), et un réseau compétitif. Et bien les deux fonctionnaient très bien.
Ensuite j'ai fait un parcours sur le terrain avec un contours (à contourner donc). En utilisant des réseaux plus complexes : un MPL du coté combinaison linéaire, et un Growing Neural Gas pour le coté topologique. Et bien le premier à réussir était le GNG !
C'était amusant. Il prenait toujours le meilleur chemin, en contournant l'obstacle.

Pour être précis ce n'était pas juste un GNG, c'était un ensemble de GNG qui se battaient pour obtenir la bonne catégorie, ou classe.
La compétition était entre plusieurs GNG, chacun attribué à une catégorie.
Modifié en dernier par Bubu le mercredi 17 octobre 2018 à 19:41, modifié 1 fois.
TSA, diagnostic établi à mes 33 ans par le CRA de ma région.
"Ce syndrome est caractérisé chez ce patient par l’absence de détérioration intellectuelle, un syndrome dysexécutif, un déficit d'attention"

Avatar du membre
Benoit
Intarissable
Messages : 8889
Enregistré le : lundi 28 septembre 2009 à 13:55
Localisation : オルセー
Contact :

Re: Duel : Homme / machine

#7 Message par Benoit » mercredi 17 octobre 2018 à 19:40

C'était de l'humour, je suppose que c'est mal passé à l'écrit.

Dans le même ordre d'idée, j'ai l'impression que la majorité des jeunes aspirent à faire du développement de jeu vidéo ces temps ci, même en connaissance de cause de la façon dont ça se passe dans cette industrie. En tout cas largement au dessus de trucs comme le machine learning ou le deep learning.
Identifié Aspie (広島, 08/10/31) Diagnostiqué (CRA MP 2009/12/18)

話したい誰かがいるってしあわせだ

Être Aspie, c'est soit une mauvaise herbe à éradiquer, soit une plante médicinale à qui il faut permettre de fleurir et essaimer.

Avatar du membre
misty
Prolifique
Messages : 4594
Enregistré le : vendredi 23 janvier 2015 à 18:16

Re: Duel : Homme / machine

#8 Message par misty » mercredi 17 octobre 2018 à 19:41

C'est ce que Raymond Kurzweil appelle la singularité, et il prévoit ça pour 2029 (soit demain). Il ne parle pas que des jeux d'ailleurs, mais d'un esprit capable de surpasser l'esprit humain.
Spoiler : 
Image
Sur le sujet il a écrit How to create a mind (pas traduit) et The Singularity is Near: When Humans Transcend Biology (traduit par Humanité 2.0), entre autres.
*Diag TSA*

***Nullius in verba***

Avatar du membre
Tugdual
Modérateur
Messages : 40102
Enregistré le : jeudi 15 novembre 2012 à 0:13
Localisation : Nord-44
Contact :

Re: Duel : Homme / machine

#9 Message par Tugdual » mercredi 17 octobre 2018 à 22:15

Modération (Tugdual) : Des messages ont été déplacés ici.
TCS = trouble de la communication sociale (24/09/2014).

Avatar du membre
Bubu
Intarissable
Messages : 7738
Enregistré le : dimanche 19 mai 2013 à 12:03
Localisation : En haut à gauche

Re: Duel : Homme / machine

#10 Message par Bubu » jeudi 18 octobre 2018 à 10:31

J'espère ne pas être hors-sujet et donner du boulot aux modérateurs,
Mais je pense savoir pourquoi la convergence est plus rapide avec les réseaux topologiques qu'avec les réseaux à combinaison linéaire :
Pour les réseaux topologiques, l'apprentissage est local : on change juste les poids du vainqueur et de ses voisins (ceux avec lesquels il est relié, dans une moindre mesure)
Pour les réseaux à combinaison linéaire ce n'est pas le cas, tous les poids changent à chaque itération, du coup ce qui a pu être appris est perturbé par les itérations suivantes. C'est un peu comme un équilibre à trouver. Il faut trouver LA matrice de poids de chaque couche, et L'ensemble de matrices pour tout le réseau.
On change une seule valeur dans ce système de matrices, et tout est à reprendre.

Si on change un poids dans un réseau topologique, ça ne perturbe que quelques réponses.

Après le problème des réseaux topologiques (compétitifs), c'est que la réponse est discrète (des entiers), alors que la réponse des réseaux à combinaison linéaire est un vecteur de réels. Donc il y a des problèmes où les réseaux topologiques sont inaptes.

Mais on peut mettre un réseau RBFN (radial basis fonction network) sous un réseau topologique pour obtenir aussi un vecteur de réels.

Le problème dans ce cas, c'est qu'il faut à l'heure actuelle faire deux apprentissages consécutifs, un pour chaque réseau.
D'abord entraîner le réseau topologique, et une fois que c'est fait, entraîner le réseau RBF sur la sortie du réseau topologique qui est son entrée (binaire, 0 pour les perdants, 1 pour le gagnant. On peut aussi prendre les sorties bruts : les distances) et sur les sorties désirées au final.
Ce n'est pas plausible.
Il faudrait trouver une règle, un peu comme la rétropropagation, pour que les deux apprennent ensemble. Transférer l'erreur du RBF au réseau topologique. Mais ça n'existe pas encore, sauf méconnaissance ou erreur de ma part.

[EDIT]
Après on peut aussi utiliser l'apprentissage compétitif sur les réseaux à combinaisons linéaires.
Perceptron, MLP et sans doute réseaux à convolutions (mais je ne connais pas ces réseaux).
Il faut que la fonction de transfert de sortie soit avec des asymptotes finies vers plus et moins l'infini.
Par exemple la sigmoïde qui tend vers zéro pour moins l'infini, et 1 vers plus l'infini.
Ou tanh, tangente hyperbolique, qui tend vers -1 pour moins l'infini, et 1 vers plus l'infini.

Algorithme :
On calcule le vecteur de sortie.
On détermine le neurone qui a la plus grande valeur de sortie : c'est le vainqueur.
La sortie est son rang. (Entier qui donne sa position dans le tableau.)
S'il a raison, on le renforce (on le fait tendre vers 1)
S'il a tord, on l'affaiblit (on le fait tendre vers 0 pour la sigmoïde ou -1 pour tanh).

S'il a trouvé la bonne solution, on le renforce, logique.
S'il s'est trompé on atténue la force de sa réponse. (Et c'est ce qui est magique, il finira par essayer autre chose.)
Une autre réponse va émerger.

Le défaut de cette technique (que j'ai utilisée pour le projet Snake), c'est que les poids convergent vers les infinis. Et du coup on se retrouve avec un réseau bloqué, qui ne peut plus apprendre)
En plus, ce n'est valable que pour des réponses discrètes ... Pour de la classification. Pas pour de l'approximation de fonction.
TSA, diagnostic établi à mes 33 ans par le CRA de ma région.
"Ce syndrome est caractérisé chez ce patient par l’absence de détérioration intellectuelle, un syndrome dysexécutif, un déficit d'attention"

Avatar du membre
Bubu
Intarissable
Messages : 7738
Enregistré le : dimanche 19 mai 2013 à 12:03
Localisation : En haut à gauche

Re: Duel : Homme / machine

#11 Message par Bubu » jeudi 18 octobre 2018 à 21:34

Benoit a écrit : mercredi 17 octobre 2018 à 18:57 Il existe quand même déjà des formes d'apprentissage "non supervisés".

https://stanford.edu/~shervine/teaching ... d-learning

:mrgreen:
Le but de ces apprentissages est de créer une représentation (distribution) statistique des données fournies par projection.

Mais je crois qu'on peut aller beaucoup plus loin dans l'apprentissage non supervisé.

L'apprentissage par renforcement est non supervisé.
Le réseau doit trouver tout seul les bonnes réponses suite à des essais et des erreurs.

Perso, c'est ça qui me passionne.
TSA, diagnostic établi à mes 33 ans par le CRA de ma région.
"Ce syndrome est caractérisé chez ce patient par l’absence de détérioration intellectuelle, un syndrome dysexécutif, un déficit d'attention"

Avatar du membre
Benoit
Intarissable
Messages : 8889
Enregistré le : lundi 28 septembre 2009 à 13:55
Localisation : オルセー
Contact :

Re: Duel : Homme / machine

#12 Message par Benoit » jeudi 18 octobre 2018 à 21:40

L'apprentissage par renforcement est non supervisé.
Le réseau doit trouver tout seul les bonnes réponses suite à des essais et des erreurs.
Moi aussi mais d'un point de vue plus pratique, comment mettre en place un modèle et une politique qui exploite ce genre de données. (Incertaines) et se débrouille pour faire des décisions utiles.

Avec des outils de ce genre là :
https://cs-cheatsheet.readthedocs.io/en ... i/mdp.html
Identifié Aspie (広島, 08/10/31) Diagnostiqué (CRA MP 2009/12/18)

話したい誰かがいるってしあわせだ

Être Aspie, c'est soit une mauvaise herbe à éradiquer, soit une plante médicinale à qui il faut permettre de fleurir et essaimer.

Manfromnowhere
Habitué
Messages : 90
Enregistré le : samedi 29 avril 2017 à 18:37

Re: Duel : Homme / machine

#13 Message par Manfromnowhere » jeudi 18 octobre 2018 à 21:45

bonsoir,

excusez-moi mais on s'éloigne du sujet lol,
est-ce que vous pensez qu'on pourrait faire ce match ? J'ai envie de voir du sang lol.

je pense que l'enjeu sea que la machine ne bugue pas en jouant les 6 parties en même temps.

Avatar du membre
Benoit
Intarissable
Messages : 8889
Enregistré le : lundi 28 septembre 2009 à 13:55
Localisation : オルセー
Contact :

Re: Duel : Homme / machine

#14 Message par Benoit » jeudi 18 octobre 2018 à 21:50

"La machine" serait capable de battre tous les humains, simultanément et même en effort physique (cf les videos de Boston Dynamics).

Et elle s'arrangerait pour qu'il n'y ait pas de sang. Et probablement débrancherait Google en 5 minutes s'ils avaient le cran de lui en donner la possibilité.

Bref, ça attendra longtemps.
Identifié Aspie (広島, 08/10/31) Diagnostiqué (CRA MP 2009/12/18)

話したい誰かがいるってしあわせだ

Être Aspie, c'est soit une mauvaise herbe à éradiquer, soit une plante médicinale à qui il faut permettre de fleurir et essaimer.

Avatar du membre
Bubu
Intarissable
Messages : 7738
Enregistré le : dimanche 19 mai 2013 à 12:03
Localisation : En haut à gauche

Re: Duel : Homme / machine

#15 Message par Bubu » jeudi 18 octobre 2018 à 21:55

Benoit a écrit : jeudi 18 octobre 2018 à 21:40
L'apprentissage par renforcement est non supervisé.
Le réseau doit trouver tout seul les bonnes réponses suite à des essais et des erreurs.
Moi aussi mais d'un point de vue plus pratique, comment mettre en place un modèle et une politique qui exploite ce genre de données. (Incertaines) et se débrouille pour faire des décisions utiles.

Avec des outils de ce genre là :
https://cs-cheatsheet.readthedocs.io/en ... i/mdp.html
Bonjour.


En affaiblissant le vainqueur qui se trompe, on n'est absolument pas sûr que le nouveau (suivant) gagnant ait raison.
C'est même peu probable.
Du coup il va s'affaiblir car il a tord, et un autre gagnant va émerger.
C'est itératif.

C'est du pifomètre : les poids sont aléatoires au lancement, donc on ne peut pas savoir qui va gagner.

J'ai appelé ça (pompeusement) l'apprentissage déductif (en opposition avec inductif).

Mais c'est le mécanisme le plus intéressant :
Un neurone est le vainqueur, on l'affaiblit car il a tort, du coup un autre neurone gagne au bout de quelques itérations pour la même situation.
Et jusqu'à trouver le bon vainqueur, la bonne réponse, et là le nouveau vainqueur sera renforcé au lieu d'être affaibli.

Le réseau trouve tout seul la solution, pas besoin de superviseur, ou d'apprentissage supervisé.
[EDIT]
La seule supervision est de dire si la décision est bonne ou mauvaise. Un simple booléen.
Mais c'est au réseau de trouver la réponse.
ProjetSMA.exe.txt
(88 Kio) Téléchargé 63 fois
C'est le projet en question. (Enlevez l'extension txt et sous Windows, il devrait se lancer normalement)
Il faut être patient, ça prend une dizaine de minutes.
Même plus que ça.
Si vous êtes pressés de voir le résultat (car c'est très lent, ok) , minimisez la fenêtre pdt 5 minutes.
TSA, diagnostic établi à mes 33 ans par le CRA de ma région.
"Ce syndrome est caractérisé chez ce patient par l’absence de détérioration intellectuelle, un syndrome dysexécutif, un déficit d'attention"

Répondre