[Index] Intelligence artificielle

[Benoit]

Si ça t'es compréhensible, tu peux essayer de lire ce (vieux et très cité) papier, je pense qu'il y a une clé sur la question de "synchro" (collaboration?) de neurones dedans:
https://www.researchgate.net/publicatio ... scillators

Je te laisse décider de pourquoi/comment ce type de neurones (les oscillateurs décrits ici) ne peuvent être des perceptrons.

[Bubu]

Les spiking neurons sont des oscillateurs (adaptatifs)!
Leur signal est à étudier en temps qu'onde ou signal, et non comme une constante.
Reste à savoir si c'est le temps entre les potentiels d'actions, ou leur fréquence qui code l'information.
Les spiking neural networks (SNN) sont la prochaine génération de réseaux neuronaux.
On peut faire tout avec eux de ce qui a été fait précédemment. Et plus. C'est une généralisation.

Mais je n'ai pas d'autre choix que de reprendre mes études, pour envisager, un jour, de pouvoir les étudier.
Fourier, je vais avoir à faire à toi !

Mais ça ne répond pas à ma question : qu'est-ce que la notion de connexité en Mathématiques ?

[Benoit]

Tu as des pages wikipedia rien pour ça. (D'accord, c'est wikipedia, il y a sûrement mieux en bibliothèque).

[freeshost]

Pour la connexité, Ixy devrait pouvoir apporter des explications.

Je n'ai pas vraiment étudié la topologie jusqu'à maintenant.

[Ixy]

Intuitivement si un groupe de neurones code pour un contour A et un autre groupe code pour un contour B et que le perceptron fait la somme de tous les neurones, il faudrait inhiber le deuxième groupe quand on est dans la région A et l'autre groupe quand on est dans la région B, sinon les réponses vont interférer. Cela car etant donné que les neurones codent des semis espaces il y aura toujours un neurone d'activé en fonction qu'on se trouve à gauche ou à droite d'une direction quelconque par rapport à l'objet A ou B.

Ce problème disparaît si on ajoute des couches.

Note : ce raisonnement tient pour un réseau à une couche + 1 perceptron en sortie. J'ignore si c'est ce qui voulait être dit.

[Bubu]

Intuitivement si un groupe de neurones code pour un contour A et un autre groupe code pour un contour B et que le perceptron fait la somme de tous les neurones, il faudrait inhiber le deuxième groupe quand on est dans la région A et l'autre groupe quand on est dans la région B, sinon les réponses vont interférer. Cela car etant donné que les neurones codent des semis espaces il y aura toujours un neurone d'activé en fonction qu'on se trouve à gauche ou à droite d'une direction quelconque par rapport à l'objet A ou B.

Ce problème disparaît si on ajoute des couches.

Note : ce raisonnement tient pour un réseau à une couche + 1 perceptron en sortie. J'ignore si c'est ce qui voulait être dit.

Soit un seul perceptron simple couche : la couche d'entrée ne compte pas.
Dit avec des "gros mots", c'est juste une question de précision ?
Et c'est ce que je me suis dis, la granularité de la classification est facilement ajustable avec un MLP.
Donc les deux problèmes (de non-linéarité et de non-connexité) sont résolus avec les MLP, non ?
??

[Ixy]

Les mlp résolvent tout enfin ce n'est pas vrai mais ils ont une capacité incroyable.

[Ixy]

On peut faire quelques tests avec http://playground.tensorflow.org/

[Ixy]

Les LSTM ont 20 ans ! happy birthday !

J'ai écrit un article sur Wikipédia pour l'occasion : ici

[Bubu]

Happy Birthday LSTM !
(Même si les SNN peuvent faire de même sans récurrence ! )
As-tu écrit l'entier article ?
C'est très intéressant, mais le formalisme me rebute pour le moment.
C'est juste le temps de m'y familiariser.
Mais je vais m'y intéresser, honnêtement.

[Bubu]

Un exemple de leur fonctionnement en fonction du temps, même sans récurrence :
Si tu leur envoies des PA à une fréquence trop faible, ils ne créeront pas eux même de PA, dû à l'affaiblissement de leur énergie (état interne), insuffisante pour générer un PA.
Si au contraire la fréquence est suffisamment élevée, ils généreront des PA dans un multiple moindre de la fréquence des PA de l'entrée.

[Ixy]

C'est quoi PA ?

Oui j'ai écrit presque en entier l'article et j'ai fait les diagrammes

[Bubu]

C'est quoi PA ?

Oui j'ai écrit presque en entier l'article et j'ai fait les diagrammes

PA est une abréviation pour Potentiel d'Action.
Qui est une fonction du temps. D'où ma revendication que les SNN sans récurrence pouvaient faire la même chose que les réseaux classiques récurrents, comme LSTM.
Bravo pour ton article.

[Ixy]

Quand j'aurais le temps je rajouterai les variantes du LSTM, en particulier un type de réseau qu'on appelle Gated Recurrent Unit (GRU)

[Benoit]

J'ai enfin trouvé une bonne page pour débutants avec du code simple. S'il y a d'autres lecteurs que ça intéresse, c'est là. En plus, il y a d'autres trucs sympa.