[Index] Intelligence artificielle

Pour les gens qui ont simplement envie de discuter sans souhaiter faire passer d'information particulière.
Message
Auteur
Avatar du membre
Ixy
Prolifique
Messages : 4667
Enregistré le : jeudi 20 mars 2014 à 20:59
Localisation : 92

Re: Intelligence artificielle

#166 Message par Ixy » dimanche 19 mars 2017 à 11:23

Les bibliothèques ne t'empêchent pas de presque tout implémenter from scratch (avec un type de langage différent car tensorflow ou theano ça ressemble à un logiciel de calcul formel mais tu gardes le contrôle de ce que tu fais).
Je n'ai pas de diagnostic /!\
Ce que tu as la force d'être, tu as aussi le droit de l'être - Max Stirner

Avatar du membre
Bubu
Intarissable
Messages : 7738
Enregistré le : dimanche 19 mai 2013 à 12:03
Localisation : En haut à gauche

Re: Intelligence artificielle

#167 Message par Bubu » jeudi 23 mars 2017 à 6:19

Un autre avantage des GNG, c'est qu'on a pas, a priori, besoin de définir sa structure initiale. Il commence par 2 neurones reliés, et complexifie sa topologie par rapport à la complexité du problème.
Après il y a plusieurs versions, certaines permettent de tuer les neurones inutiles, ou de casser des liens.
Donc ajout/suppression de neurones et de liens automatiquement, en plus de pouvoir en créer évidemment.
Donc il est capable de déterminer une topologie optimale pour un problème donné.
TSA, diagnostic établi à mes 33 ans par le CRA de ma région.
"Ce syndrome est caractérisé chez ce patient par l’absence de détérioration intellectuelle, un syndrome dysexécutif, un déficit d'attention"

Avatar du membre
Bubu
Intarissable
Messages : 7738
Enregistré le : dimanche 19 mai 2013 à 12:03
Localisation : En haut à gauche

Re: Intelligence artificielle

#168 Message par Bubu » dimanche 26 mars 2017 à 8:08

@Ixy : je ne comprends pas pourquoi on place les MLP parmi les classifieurs linéaires. Pour moi, ce serait plutôt des approximateurs universels de fonctions.
Ils ne répondent pas une classe (ou catégorie, c'est pareil) mais un vecteur.
À moins d'appliquer un apprentissage compétitif sur la sortie.

Les réseaux "topologiques" quant à eux, sont des classifieurs topologiques.
Parce qu'ils répondent une classe. Un entier naturel.

Un petit tuyau stp ?
TSA, diagnostic établi à mes 33 ans par le CRA de ma région.
"Ce syndrome est caractérisé chez ce patient par l’absence de détérioration intellectuelle, un syndrome dysexécutif, un déficit d'attention"

Avatar du membre
Ixy
Prolifique
Messages : 4667
Enregistré le : jeudi 20 mars 2014 à 20:59
Localisation : 92

Re: Intelligence artificielle

#169 Message par Ixy » dimanche 26 mars 2017 à 9:48

Oui il y a un soft max pour le dernier layer.
Je n'ai pas de diagnostic /!\
Ce que tu as la force d'être, tu as aussi le droit de l'être - Max Stirner

Avatar du membre
Bubu
Intarissable
Messages : 7738
Enregistré le : dimanche 19 mai 2013 à 12:03
Localisation : En haut à gauche

Re: Intelligence artificielle

#170 Message par Bubu » jeudi 30 mars 2017 à 14:45

Ixy a écrit :Oui il y a un soft max pour le dernier layer.
NB : si tu as a assez de mes questions, envoie moi un mp merci.
Pour faire un apprentissage compétitif derrière la sortie d'un MLP, il suffit qu'il y ait une relation d'ordre totale entre les sorties. Comme tu l'as vu dans le code du Snake, j'utilise la sigmoïde tout simplement.
Un tel apprentissage serait impossible sur des sorties booléennes par exemple.

Tu parles de Soft max sur la dernière couche : mais est-elle utilisée dans les couches cachées ?

Je rentre chez moi mercredi normalement.
Je t'enverrai l'algorithme du GNG officiel en pdf.
Je posterai aussi le .Jar de ma variante, avec quelques explications sur son utilisation.


Mais je reste halluciné que même à votre niveau, vous ne connaissiez que les modèles basés sur le neurone formel de MC Culloch et Pitt, alors que les cartes auto-organisatrices existent depuis une trentaine d'années.
TSA, diagnostic établi à mes 33 ans par le CRA de ma région.
"Ce syndrome est caractérisé chez ce patient par l’absence de détérioration intellectuelle, un syndrome dysexécutif, un déficit d'attention"

Avatar du membre
Ixy
Prolifique
Messages : 4667
Enregistré le : jeudi 20 mars 2014 à 20:59
Localisation : 92

Re: Intelligence artificielle

#171 Message par Ixy » jeudi 30 mars 2017 à 17:33

Il y a déjà de nombreuses variantes et applications pour les mlp, alors les gens ne s'intéressent qu'à ça pour le moment et quelques autres trucs comme machines de Boltzmann, variatonal autoencoders et quelques autres que je ne connais pas.

Le truc ultra tendance c'est les generative adversarial networks, je t'invite à regarderle principe.

Oui uniquement en sortie le soft max.
Je n'ai pas de diagnostic /!\
Ce que tu as la force d'être, tu as aussi le droit de l'être - Max Stirner

Avatar du membre
Bubu
Intarissable
Messages : 7738
Enregistré le : dimanche 19 mai 2013 à 12:03
Localisation : En haut à gauche

Re: Intelligence artificielle

#172 Message par Bubu » samedi 1 avril 2017 à 14:45

Ixy a écrit : Oui uniquement en sortie le soft max.
Salut !
Ben tu te souviens, j'ai à 2 reprises exprimé mon incompréhension de son utilisation dans les couches cachées.... J'avais pas si tord ?

L'algorithme du GNG que j'ai est dans une thèse de Master. Bon il utilise un RBF en dessous, mais ça ne m'intéressait pas. Donc ce sera enfantin pour toi.

Pour ma variante :
En supervisé, je rapproche simplement le vainqueur du GNG de la bonne classe s'il y a erreur.

En "déductif" :
Si le bon GNG gagne la compétition, je fais rien.
Si c'est faux, je rapproche tous les autres. L'inutilité fera disparaitre les mauvais.

C'est basé sur le GNG avec utilité.
Où les neurones qui ne gagnent jamais sont éliminés.

Édit : c'est difficile à expliquer.... Faut juste bien voir qu'il y a deux niveaux de compétition :
Entre les neurones d'un GNG.
Entre les (vainqueurs des) GNG.



De toute façon, je posterai mes bidules la semaine prochaine, quand je rentrerai.
TSA, diagnostic établi à mes 33 ans par le CRA de ma région.
"Ce syndrome est caractérisé chez ce patient par l’absence de détérioration intellectuelle, un syndrome dysexécutif, un déficit d'attention"

Avatar du membre
Ixy
Prolifique
Messages : 4667
Enregistré le : jeudi 20 mars 2014 à 20:59
Localisation : 92

Re: Intelligence artificielle

#173 Message par Ixy » samedi 1 avril 2017 à 17:58

D'accord je regarderai ce que c'est à ce moment là.
Je n'ai pas de diagnostic /!\
Ce que tu as la force d'être, tu as aussi le droit de l'être - Max Stirner

Avatar du membre
Bubu
Intarissable
Messages : 7738
Enregistré le : dimanche 19 mai 2013 à 12:03
Localisation : En haut à gauche

Re: Intelligence artificielle

#174 Message par Bubu » lundi 3 avril 2017 à 17:18

Voilà toujours la thèse de Master dans laquelle sont très bien expliqués le GNG, et le GNG avec utilité.
Je n'ai pas étudié la suite qui utilise un réseau RBF.
Fichiers joints
MasterThesisProj.pdf
(617.19 Kio) Téléchargé 37 fois
TSA, diagnostic établi à mes 33 ans par le CRA de ma région.
"Ce syndrome est caractérisé chez ce patient par l’absence de détérioration intellectuelle, un syndrome dysexécutif, un déficit d'attention"

Avatar du membre
Ixy
Prolifique
Messages : 4667
Enregistré le : jeudi 20 mars 2014 à 20:59
Localisation : 92

Re: Intelligence artificielle

#175 Message par Ixy » lundi 3 avril 2017 à 20:00

Ok c'est donc analogue à K means.

Personnellement je ne crois pas à des methodes de clustering miraculeuses, c'est pourquoi pour l'instant l'apprentissage supervisé ou faiblement supervisé est plus regardé.

Mais les generative adversarial networks sont un exemple d'algorithme très performant qui apprend à reproduire des distributions complexes.
Je n'ai pas de diagnostic /!\
Ce que tu as la force d'être, tu as aussi le droit de l'être - Max Stirner

Avatar du membre
Bubu
Intarissable
Messages : 7738
Enregistré le : dimanche 19 mai 2013 à 12:03
Localisation : En haut à gauche

Re: Intelligence artificielle

#176 Message par Bubu » lundi 3 avril 2017 à 20:32

K means avec voisinage. Là est toute la différence. Kohonen
Avec un nombre de neurones variable . Neural gas.
Avec génération de noeuds. GNG
Avec suppression si mauvais clustering.
GNG avec facteur d'utilité.
Donc plasticité absolue.

Les ordinateurs ne mentent pas. S'il s'agissait de méthodes miraculeuses alors l'informatique serait une religion ? Évidemment non, c'est une science.

Là il s'agit de simple clustering, d'apprentissage non supervisé.
Avec un minimum de jugeote et de compréhension sincère de ces modèles, on peut faire facilement de l'apprentissage supervisé.

Je rentre chez moi mercredi, tu verras s'il s'agit de méthode miracle quand je posterai ma petite variante.

Passer son temps à paramétrer un réseau MLP, c'est chiant. Là, il y a aussi des paramètres à régler évidemment, mais pas la topologie qui sera de surcroît optimale.

Le réel défaut de ce genre d'apprentissage, c'est qu'il n'y a aucune possibilité de nuance, c'est une classe, ou une autre. C'est une sortie discrète.
C'est en ça que le truc avec les voitures m'intéresse beaucoup. Mais encore et comme toujours avec ces sacs de noeuds, on ne peut pas faire d'apprentissage en temps réel. (Online). Or pour moi, c'est le principal. La notion d'apprentissage est au coeur de l'IA pour moi.
Je ne considère pas les systèmes incapables d'apprentissage en temps réel comme faisant partie de l'IA. Ils relèvent plus de méthodes statistiques.
Modifié en dernier par Bubu le mardi 4 avril 2017 à 6:57, modifié 1 fois.
TSA, diagnostic établi à mes 33 ans par le CRA de ma région.
"Ce syndrome est caractérisé chez ce patient par l’absence de détérioration intellectuelle, un syndrome dysexécutif, un déficit d'attention"

Avatar du membre
Ixy
Prolifique
Messages : 4667
Enregistré le : jeudi 20 mars 2014 à 20:59
Localisation : 92

Re: Intelligence artificielle

#177 Message par Ixy » lundi 3 avril 2017 à 21:37

Je ne connais pas Kohonen mais je vais regarder
Je n'ai pas de diagnostic /!\
Ce que tu as la force d'être, tu as aussi le droit de l'être - Max Stirner

Avatar du membre
Bubu
Intarissable
Messages : 7738
Enregistré le : dimanche 19 mai 2013 à 12:03
Localisation : En haut à gauche

Re: Intelligence artificielle

#178 Message par Bubu » mardi 4 avril 2017 à 6:51

Ixy a écrit :
Mais les generative adversarial networks sont un exemple d'algorithme très performant qui apprend à reproduire des distributions complexes.
Tu en as déjà parlé et je compte m'y intéresser. Mais si je ne peux pas faire d'apprentissage online avec, j'abandonnerai immédiatement.
Merci pour tes suggestions et ton aide en tout cas. :D
TSA, diagnostic établi à mes 33 ans par le CRA de ma région.
"Ce syndrome est caractérisé chez ce patient par l’absence de détérioration intellectuelle, un syndrome dysexécutif, un déficit d'attention"

Avatar du membre
Ixy
Prolifique
Messages : 4667
Enregistré le : jeudi 20 mars 2014 à 20:59
Localisation : 92

Re: Intelligence artificielle

#179 Message par Ixy » mardi 4 avril 2017 à 9:09

Non ce n'est pas pour l'apprentissage en ligne. C'est pour générer des images par exemple. L'apprentissage en ligne le plus utilisé c'est l'apprentissage par renforcement je pense.
Je n'ai pas de diagnostic /!\
Ce que tu as la force d'être, tu as aussi le droit de l'être - Max Stirner

Avatar du membre
Bubu
Intarissable
Messages : 7738
Enregistré le : dimanche 19 mai 2013 à 12:03
Localisation : En haut à gauche

Re: Intelligence artificielle

#180 Message par Bubu » mercredi 5 avril 2017 à 17:21

Je viens de rentrer chez moi, j'ai enfin quitté cet enfer. Soit j'oublie, soit je contacte avec un soutien de taille une journaliste du Télégramme. Et ça va saigner ! :D
Bref.
Ben l'apprentissage non supervisé est un simple apprentissage par renforcement...
Mais tu as raison, il faut que je cherche déjà dans les algorithmes d'apprentissage par renforcement. Tout en utilisant les réseaux neuronaux. Je veux le beurre et l'argent du beurre que veux-tu .... Car je veux pouvoir jouir de la puissance des NN tout en voulant que ce soit rapide... :innocent:
Une chimère ? ...

J'ai la flegme d'aller sur l'ordinateur.... Tout à l'heure ou demain sûr, je t'envoie le .jar ainsi que CNG.java.


Édit : et quelques distributions ( que je dois faire .....) pour que tu puisses vite et facilement tester
TSA, diagnostic établi à mes 33 ans par le CRA de ma région.
"Ce syndrome est caractérisé chez ce patient par l’absence de détérioration intellectuelle, un syndrome dysexécutif, un déficit d'attention"

Répondre