[Index] Intelligence artificielle

[Ixy]

Pourquoi il faut une entrée à valeur constante ? (Le fameux biais)

Ca permet de créer une valeur seuil pour les filtres non ?

Pourquoi il ne faut pas chercher à faire converger le réseau vers les valeurs asymptotiques de la fonction de transfert?

Cette question je ne l'ai pas compris.

Comment savoir que le réseau est en sur-apprentissage ?

Une façon très simple : créer un set d'entraînement et de test.

https://en.wikipedia.org/wiki/Test_set

Tout cela se comprend facilement quand on sait démontrer la dynamique de ces réseaux

pas pour des gros réseaux. On n'a peu d'outils mathématiques pour étudier les grands réseaux - on sait juste que quand on passe sur des grands réseaux, certains problèmes disparaissent, en particulier on a peu de chance d'être bloqué dans un minimum local (de la fonction d'apprentissage) qui donne des résultats mauvais.

[Bubu]

L'entrée constante, c'est enfantin. Un enfant de 3eme peut le comprendre. C'est le coup de l'ordonnée pour x=0
Pour te répondre, cela permet de translater la fonction de transfert selon l'axe x.
Concernant les valeurs asymptotiques, les poids des connexions convergeaient vers l'infini. C'est vouloir le problème de sur-apprentissage.

[Bubu]

pas pour des gros réseaux. On n'a peu d'outils mathématiques pour étudier les grands réseaux - on sait juste que quand on passe sur des grands réseaux, certains problèmes disparaissent, en particulier on a peu de chance d'être bloqué dans un minimum local (de la fonction d'apprentissage) qui donne des résultats mauvais.

Mais bien sûr que si! Il y a des chercheurs dont c'est la spécialité !
Et les minimums locaux : ces gens là ont ils essayé d'utiliser plus que le premier ordre des séries de Taylor ? Le recuit simulé est une grosse connerie. Quand on sait calculer une dérivée.

[Ixy]

pas pour des gros réseaux. On n'a peu d'outils mathématiques pour étudier les grands réseaux - on sait juste que quand on passe sur des grands réseaux, certains problèmes disparaissent, en particulier on a peu de chance d'être bloqué dans un minimum local (de la fonction d'apprentissage) qui donne des résultats mauvais.

Mais bien sûr que si! Il y a des chercheurs dont c'est la spécialité !
Et les minimums locaux : ces gens là ont ils essayé d'utiliser plus que le premier ordre des séries de Taylor ? Le recuit simulé est une grosse connerie. Quand on sait calculer une dérivée.

Non mais sur les grands réseaux c'est des fonctions non convexes à des millions de paramètre, personne n'a l'intuition de ce qui se passe.

[Benoit]

C'est ici le fil des solutions simples a NP?

[Ixy]

Ben si tu trouves quelque chose à ce sujet tu peux aller réclamer ton argent il doit y avoir un prix pour ça.

[Bubu]

Bon, les zèbres on se calme !
J'insiste, mais c'est possible de théoriser la dynamique d'un réseau, aussi "gros" soit-il.
Après tout, comment ils font à météo France pour prédire le climat ?

[Bubu]

Intelligence artificielle
Ce qui signifie reproduire un "esprit humain" (human mind) de facon artificielle. C'est je pense pour cela qu'on n'y arrive pas. Car se pose le support -le cerveau - en préalable de sa création.

Je trouverai plus intéressant de produire une intelligence artificiellement dans un support neuronale existant. Y a la place dans le cerveau des animaux. Par exemple faire évoluer, certains animaux jusqu'à la conscience de leur existence.

C'est en tout cas une idée de science -fiction développée, je crois dans l'ile du dr Moreau ?
Augmenter une intelligence déjà existante. Une intelligence artificielle du niveau voire supérieure à l'humain, c'est aussi ce dernier cas qui nous intéresse souvent et qui est sous-entendu.

Bonjour Daredevil.
Le but de l'intelligence artificielle n'est pas de copier ou d'égaler l'intelligence humaine.
Vouloir ça serait idiot, et présomptueux.
La nature est intelligente, elle s'adapte selon ses contraintes et besoins.
J'en viens à une critique : le test de Turing.
(Un grand génie que j' idolâtre pourtant)
En gros, si une machine est capable de te faire croire qu'elle est humaine le temps d'un échange verbal (via terminaux) alors elle est intelligente.
Donc basé sur une duperie. Belle définition.
Donc l'intelligence est une caractéristique humaine. Belle définition.
Un script énoncé sans conscience est intelligent. Belle définition.
Comme quoi les plus grands génies sont comme nous, et peuvent parfois raconter n'importe quoi.

[Bubu]

Bonsoir ixy.
Si je peux me permettre, avant de raisonner sur un système, mieux vaut d'abord comprendre le fonctionnement des unités qui le composent.
Vu ton cursus, tu en as pour une demi-heure maximum.
Prends un neurone de mc culloch et Pitt, et joue avec.
Avec 2 connexions et un biais. Et une fonction de transfert booléenne.
Comment faire un ET ?
Comment faire un OU?
Déjà tu verras la nécessité du biais.
Pourquoi il ne résout pas le XOR (avec un raisonnement par l'absurde c'est facile)
Et donc pourquoi il y a des Perceptrons multi-couches ?

[Benoit]

Après tout, comment ils font à météo France pour prédire le climat ?

Simulation complexe de type multi-agent je dirais (trèèèès complexe).
Précisément un exemple de modèle où on ne sait pas ce qui va se passer avant de refermer le couvercle sur la marmite.

Sinon, il y a des gens qui font des thèses spécifiquement dans la modélisation de problème, donc ça doit prendre un peu plus de temps que ça.

[Ixy]

Bonsoir ixy.
Si je peux me permettre, avant de raisonner sur un système, mieux vaut d'abord comprendre le fonctionnement des unités qui le composent.
Vu ton cursus, tu en as pour une demi-heure maximum.
Prends un neurone de mc culloch et Pitt, et joue avec.
Avec 2 connexions et un biais. Et une fonction de transfert booléenne.
Comment faire un ET ?
Comment faire un OU?
Déjà tu verras la nécessité du biais.
Pourquoi il ne résout pas le XOR (avec un raisonnement par l'absurde c'est facile)
Et donc pourquoi il y a des Perceptrons multi-couches ?

Ok j'ai compris.
Maintenant comme fonction de transfert on utilise plutôt ça : https://en.wikipedia.org/wiki/Rectifier ... etworks%29

[Bubu]

Merci ixy, je ne connaissais pas cette fonction de transfert.
Cependant il y a 2 choses qui m'embêtent avec cette fonction et sur son utilisation dans les couches cachées :
Elle n'est pas dérivable en 0, comment établir la règle d'apprentissage ?
Elle n'est pas bornée donc les signaux sont amplifiés couche après couche.
L'avantage de la sigmoïde et de tanh c'est qu'elles valent toujours moins de 1 en valeur absolue.

Par contre pour son utilisation pour la couche de sortie, je comprends.

[Alone3545]

Vous pensez que cela peut aller jusqu'ou côté intelligence (reproduction robot, invention robot , amélioration autonome de leurs intelligence, fait de rétablir la paix, diagnostic maladie, frontières estompe entre robot et homme)?

[Daredevil]

Intelligence artificielle
Ce qui signifie reproduire un "esprit humain" (human mind) de facon artificielle. C'est je pense pour cela qu'on n'y arrive pas. Car se pose le support -le cerveau - en préalable de sa création.

Je trouverai plus intéressant de produire une intelligence artificiellement dans un support neuronale existant. Y a la place dans le cerveau des animaux. Par exemple faire évoluer, certains animaux jusqu'à la conscience de leur existence.

C'est en tout cas une idée de science -fiction développée, je crois dans l'ile du dr Moreau ?
Augmenter une intelligence déjà existante. Une intelligence artificielle du niveau voire supérieure à l'humain, c'est aussi ce dernier cas qui nous intéresse souvent et qui est sous-entendu.

Bonjour Daredevil.
Le but de l'intelligence artificielle n'est pas de copier ou d'égaler l'intelligence humaine.
Vouloir ça serait idiot, et présomptueux.
La nature est intelligente, elle s'adapte selon ses contraintes et besoins.
J'en viens à une critique : le test de Turing.
(Un grand génie que j' idolâtre pourtant)
En gros, si une machine est capable de te faire croire qu'elle est humaine le temps d'un échange verbal (via terminaux) alors elle est intelligente.
Donc basé sur une duperie. Belle définition.
Donc l'intelligence est une caractéristique humaine. Belle définition.
Un script énoncé sans conscience est intelligent. Belle définition.
Comme quoi les plus grands génies sont comme nous, et peuvent parfois raconter n'importe quoi.

Un script énoncé sans conscience est intelligent. ce script ne dupera pas un humain. Je parlais justement d'intelligence humaine par comparaison. La nature à créé d'autres formes d'intelligence : tout ce qui est animé. Mais ces formes ne régleront pas des problématiques humaines. D'où la recherche d'une intelligence artificielle calquée sur l'humain mais en recherche de dépassement des limites humaines. Le but est bien de dépasser le cerveau humain. Avec un postulat, qu'il puisse comprendre nos questions tests !

[Ixy]

Merci ixy, je ne connaissais pas cette fonction de transfert.
Cependant il y a 2 choses qui m'embêtent avec cette fonction et sur son utilisation dans les couches cachées :
Elle n'est pas dérivable en 0, comment établir la règle d'apprentissage ?
Elle n'est pas bornée donc les signaux sont amplifiés couche après couche.
L'avantage de la sigmoïde et de tanh c'est qu'elles valent toujours moins de 1 en valeur absolue.

Par contre pour son utilisation pour la couche de sortie, je comprends.

Normalement ça ne pose pas de problème il n'y a pas d'effet d'explosion, à condition que les entrées soient normalisées. Pour la dérivabilité en effet on utilise une approximation (softplus à voir dans l'intro de wikipédia).

Pour la dernière couche en fait en classification on utilise une sigmoïde, ou plus exactement la fonction softmax https://en.wikipedia.org/wiki/Softmax_function