[Index] Intelligence artificielle

[Ixy]

[Bubu]

Un robot qui apprend en temps réel à avancer aujourd'hui :

J'avance.
Je me cogne.
Je comprend pas, je recommence.
Encore cogné dans le mur, je comprends pas.
Quelques mois après et quelques milliers d'autres tentatives, c'est le miracle, il comprend qu'il faut modifier l'angle.
Donc : Je modifie l'angle.
Et j'avance.
Je me cogne.
Je comprend pas, je recommence.
Encore cogné dans le mur, je comprends pas.
Quelques mois après et quelques autres milliers d'autres tentatives, c'est le miracle, il comprend qu'il faut augmenter l'angle.
Donc : Je modifie l'angle.
Et j'avance.
Je me cogne.
Je comprend pas, je recommence.
Encore cogné dans le mur, je comprends pas.

Et ainsi de suite.
Non les techniques actuelles et les théories sous-jacentes ne permettent pas aujourd'hui de qualifier une machine d'intelligente, même dans le cadre de l'intelligence artificielle et surtout du machine learning.

Ça marche avec des réseaux obèses en bourrinant à coup d'accélération matérielle de GPU ou de FPGA sur des milliards de présentations de patterns, mais dans la réalité c'est impraticable.
C'est pas la puissance des ordinateurs le problème, c'est la théorie. D'ailleurs les influx nerveux se propagent à des vitesses mesurées en m.s-1, alors que le courant électrique dans les puces, se propage carrément dans un autre ordre supérieur de grandeur (proche de c). Les influx nerveux dans nos cerveaux, et les informations, circulent et sont traitées au moins mille fois (si ce n'est pas un million) de fois moins vite qu'avec les modèles actuels théoriques. Et pourtant on est incomparablement plus capables. C'est pas une différence linéaire, mais exponentielle dans la complexité algorithmique.
Alors oui, à court terme, ce n'est pas important. Mais on est face à un mur avant d'avoir une machine intelligente, qui peut réfléchir. Les accélérations matérielles n'aideront pas. Il faut de meilleurs modèles.
Je ne dis pas naïvement "copier la Nature", mais force est de constater que l’efficacité des techniques actuelles est d'une qualité logarithmiquent moindre que celles observées dans la Nature.
Donc c'est pas la vitesse des processeurs, ou du traitement qui va changer la donne. Il faut chercher d'autres méthodes.


Et la descente de gradient est une aberration mathématique.
Peut-on croire que l'on remonte à l'envers toutes nos connections de notre cerveau pour modifier la force des synapses ? Et pour apprendre ?
Il n'a jamais été question de signaux inverses, qui viendraient des axones pour aller vers les synapses. C'est absurde.
C'est une technique pompée chez les physiciens.
La loi de Hebb dit juste que si deux neurones reliés ont une activité synchrone, la synapse les reliant se renforce. Et vice versa. (S'ils ont une activité asynchrone, la synapse s'atrophie, voire disparait)

[Ixy]

Je suis de l'école qui croît que le cerveau fait quelque chose de similaire à la rétropopagation du gradient et que le problème vient, non pas vraiment de la puissance de calcul, mais que l'on ne sait pas encore faire de réseaux géants capable de traiter toutes sortes d'informations, aussi bien concrètes comme des images/son/langage naturel que des données plus abstraites. Les word embeddings sont un bon exemple de représentation abstraite apprise à partir d'input concret (des phrases dans un texte) et avec laquelle on peut faire des tâches complexes (comme par exemple décrire automatiquement une image). Une différence notable entre la machine et le cerveau est que pendant le développement du cortex, ce sont aussi bien les représentations de bas-niveau que les représentations abstraites du cortex préfrontal qui se mettent en place simultanément. Selon moi c'est ainsi que le cerveau serait capable d'apprendre plus vite, en étant capable de généraliser plus vite les concepts abstraits (approche top-down plutôt que bottom-up).

[Bubu]

Je suis de l'école qui croît que le cerveau fait quelque chose de similaire à la rétropopagation du gradient...

Salut.
Comment veux-tu ? Une synapse ne peut pas envoyer un signal à son axone relié. C'est à sens unique.
Et la loi de Hebb est locale, il ne s'agit pas de résoudre un système d'équation de multiples variables, mais de réagir localement, selon la synchronicité des neurones.

L'information ne circule que dans un sens.
Je pense plutôt que les endorphines régulent l'évolution des multiples réseaux, des zones. Si on a peur, l'adrénaline joue son rôle. Si on est content, l'endomorphine joue son rôle.
Je suis convaincu, au delà de la notion d'apprentissage supervisé ou non, que notre apprentissage est en fait un apprentissage par renforcement. Contrôlé par les hormones.
C'est notre système de récompenses via les hormones, qui régule l'évolution des réseaux. La descente de gradient n'a rien a voir dans ça. C'est un outil formellement reconnu comme non plausible biologiquement, en plus.

[Ixy]

Bien sûr il y a un apprentissage par renforcement, mais l'un n'empêche pas l'autre.


Pour ta dernière phrase non c'est une question ouverte.


A voir cette vidéo : http://videolectures.net/deeplearning20 ... roscience/ je n'ai vu que le début.

[Bubu]

Je te fais confiance, sur parole.
Je prétends beaucoup, mais je connais la grosse limite, l'abysse, qu'il y a sur les connaissances sur ce sujet entre nous.

Mais imaginons un apprentissage réellement local, sans rétropropagation.

Imaginons une humeur, une ambiance hormonale, non uniforme spatialement, dans le réseau, et qui servirait à faire évoluer le réseau.

__________________________________________________________________________________________
Par exemple, il y a une grande concentration d'hormones ""négatives"" (stress)

Alors pourquoi pas adapter localement, à l'inverse de ce qui a été décidé ?
J'ai envoyé une impulsion alors que je n'aurais pas dû : je diminue le poids des dendrites stimulées.
Je n'ai pas envoyé d'impulsion alors que j'aurais dû, j'augmente le poids des dendrites stimulées.
______________________________________________________________________________________
L'autre exemple, il y a une grande concentrations d'hormones ""positives"" (genre endorphine)

Alors pourquoi pas adapter localement, et renforcer ce qui a été décidé ?
J'ai envoyé une impulsion et j'avais raison : j'augmente le poids des dendrites stimulées.
Je n'ai pas envoyé d'impulsion et j'avais raison : je diminue le poids des dendrites stimulées.
______________________________________________________________________________________

EDIT : on sait depuis un certain temps que les neurones n'évoluent pas seuls, les astrocytes ou cellules gliales ont un rôle majeur dans l'évolution des réseaux, c'est eux qui fournissent le glucose (le nutriment des neurones) et eux aussi forment un réseau évolutif.

[Ixy]

Je prétends beaucoup, mais je connais la grosse limite, l'abysse, qu'il y a sur les connaissances sur ce sujet entre nous.

Tu connais mieux certaines choses que moi, les modèles de spikes par exemple .

Tu as raison les hormones jouent un rôle dans le développement du cerveau. nos émotions influent sur le développement de nos capacités et notre mémoire. Une autre hormone importante et dont il est question dans le TDAH : la dopamine.

[Tugdual]

Sur Techno-Sciences :

• Le premier nano-neurone artificiel capable de reconnaissance vocale voit le jour ...

[Ixy]

https://www.alphagomovie.com

[Bubu]

Sur Techno-Sciences :

• Le premier nano-neurone artificiel capable de reconnaissance vocale voit le jour ...

C'est très intéressant, c'est même prodigieux.
Mais je vois mal un seul neurone, quelque soit son modèle, arriver avec sa bite et son couteau, réaliser ce qui a été annoncé.
La reconnaissance vocale est diablement difficile et un seul neurone ne peut pas (non ! ) résoudre ça tout seul dans son coin.

Mais c'est une grande nouvelle.
Si on arrive à créer des assemblées de neurones connectés dans une simple puce, au lieu de logiciels, là, il y aura une avancée dans le domaine gigantesque.

[Benoit]

Pour une fois que je peux apporter un léger complément - sur les labos - sur un sujet aussi complexe.

cp_170919_le_premier_nano-neurone_artificiel_capable_de_reconnaissance_vocale_voit_le_jour.pdf

(347.53 Kio) Téléchargé 53 fois

[Tugdual]

Merci pour le complément d'information ...

[Bubu]

Pour une fois que je peux apporter un léger complément - sur les labos - sur un sujet aussi complexe.

cp_170919_le_premier_nano-neurone_artificiel_capable_de_reconnaissance_vocale_voit_le_jour.pdf

Elle a tout dit.
Échec et mat.
Je lui souhaite, et à toute son équipe, succès et prospérité.

[Benoit]

Je peux toujours chercher à savoir s'ils recrutent.

[Ixy]

C'est dingue merci pour la vidéo