Réseaux de Neurones Textes introductifs et cours Livres Revues Congrès	Bibliographies Publications en-ligne Sociétés savantes, associations Bases d'exploration

Les FAQ (FrequentlyAsked Questions) sont peut être le meilleur moyen de se faire rapidement une idée sur ce qu'est, et ce à quoi peut servir un réseau de neurones. Une liste de textes introductifs, ainsi qu'une liste de cours disponibles sur le réseau sont régulièrement mises à jour sur le serveur Pacific Northwest National Laboratory (PNNL). Ces textes sont généralement courts. Méfiez vous de ceux émanant de startup companies qui vous vendent des "magic toolbox", ou des textes anciens, un peu trop optimistes sur les capacités d'apprentissage des réseaux neuronaux. La page de cours de S. Canu, de l'INSA de Rouen comporte un plan, des énoncés de TP, et fait référence à différents sites français et étrangers.

Documents généralistes :

• Quelques textes de vulgarisation en français et en anglais axés sur des réalisations industrielles, de G. Dreyfus, du laboratoire d'électronique de l'ESPCI.
• An introduction to neural networks, de B. Kröse du département informatique de l'Université d'Amsterdam et P. van der Smagt du centre aérospatial allemand.
• An introduction to neural networks, de K. Gurney, du département de psychologie de l'Université de Sheffield. Ce cours est une version préparatoire d'un livre présenté à la même adresse.
• Pour les gens patients, les transparents scannés de Lecture Notes for Introduction to the Theory of Neural Computation, le cours de A. Jagota, qui, comme sont nom l'indique, s'inspire du livre de J. Hertz, A. Krogh et R. G. Palmer.

Plus technique :

• Algorithmes d'apprentissage, cours de Y. Bengio (2000) du Laboratoire d'Informatique des Systèmes Adaptatifs (LISA) de l'Université de Montréal regroupe des documents sous divers formats : Introduction à la théorie de l'apprentissage, Introduction à la reconnaissance des formes, Introduction aux réseaux de neurones, Algorithmes d'apprentissage classiques, Algorithmes de clustering, EM, Article sur les modeles de Markov caches (HMMs), Validation croisee et Bootstrap, Arbres de décision et CART, Combinaisons, ensembles de modèles, approche Bayesienne, Techniques d'entrainement des MLPs, Tutoriel sur l'entrainement des MLPs, Poids partagés, TDNNs et réseaux à convolution, Support Vector Machines, Applications des HMMs et reconnaissance de la parole, Bornes théoriques de l'erreur de généralisation, Dépendences séquentielles à long terme.
• Apprentissage, notes de cours 1993-1994 de S. Boucheron (1996) du Laboratoire de Recherche en Informatique (LRI) est un document PostScript copieux qui traite de l'approche informatique de l'apprentissage en général, en consacrant une bonne part des illustrations aux réseaux neuronaux: Introduction, Complexité, Aspects statistiques, Approximation, Adaptation.
• La théorie statistique de l'apprentissage selon Vapnik, de Y. Grandvalet (1998), du département Génie Informatique de l'Université de Technologie de Compiègne (UTC) regroupe les transparents d'un cours reprenant le plan du livre de Vapnik.
• Networks for Learning: Regression and Classification, de A. Verri et T. Poggio (2001), du département d'intelligence artificielle du Massachusetts Institute of Technology (MIT). Cette page regroupe de nombreux transparents de support de cours, ainsi que des listes de références bibliographiques sur certains aspects de l'apprentissage supervisé.
• Information Theory, Pattern Recognition and Neural Networks, de D. MacKay (1998) est un document très bien fait, accompagné de code. Le point de vue adopté est résolument Bayesien. La partie réseaux de neurones supervisés ne concerne que les chapitres 12 à 15 et 18 : Introduction to neural networks, The single neuron as a classifier, Capacity of a single neuron, Learning as Inference, Supervised learning in multilayer networks. D. MacKay a par ailleur créé le Bayesian methods for neural networks FAQ.
• Mathematics for Neural Nets, de B. MacLennan du département informatique de l'Université du Tennesee à Knoxville (UTK) : Basic concepts of toppology, Banach spaces, Hilbert spaces, Basic complex analysis

A explorer également, plus spécifique de la discrimination que des réseaux de neurones les publications, très didactiques de B. Ripley de l'Université d'Oxford. Les rappels d'algèbre linéaire du cours de M. Manry de l'Université du Texas à Arlington pourront également être utiles à certains. A voir aussi les notes de cours de M. Hassoun de Wayne State University.

• En français dans le texte :
• Les réseaux de neurones et le traitement du signal, de J. Herault et C. Jutten (1994) aux éditions Hermès.
• Statistique et méthodes neuronales, édité par S. Thiria, Y. Lechevallier, O. Gascuel, et S. Canu (1997) aux éditions Dunod : Discrimination, Prévision, Représentation structurée, Validation, validité.
• Réseaux de neurones : méthodologies et applications, édité par G. Dreyfus (2002) aux éditions Eyrolles : modélisation, classification, prévision, fouille de données, robotique, commande de processus, bio-ingénierie.
• le classique d'aujourd'hui : Neural Networks for Pattern Recognition, de C. M. Bishop (1995) aux éditions Oxford University Press : Statistical Pattern Recognition, Probability Density Estimation, Single-Layer Networks, The Multi-layer Perceptron, Radial Basis Functions, Error Functions, Parameter Optimization Algorithms, Pre-Processing and Feature Extraction, Learning and Generalization, Bayesian Techniques.
• Le classique d'hier : An introduction to the theory of Neural Computation, de J. Hertz, A. Krogh et R. G. Palmer (1991) aux éditions Addison-Wesley.
• Le point de vue du statisticien russe : The Nature of Statistical Learning Therory, de V. Vapnik (1995) aux éditions Springer-Verlag : Four periods in the Research of the Learning Problem, Setting of the Learning Problem, Consistency of Learning Processes, Bounds on the Rate of Convergence of Learning Processes, Controlling the Generalization Ability of Learning Processes, Constructing Learning Algorithms.
• le point de vue du statisticien anglais : Pattern Recognition and Neural Networks, de B.D. Ripley (1996) aux éditions Cambridge University Press : Introduction and examples, Statistical decision theory, Linear discriminant analysis, Flexible discriminants, Feed-forward neural networks, Non-parametric methods, Tree-structured classifiers, Belief networks, Unsupervised methods, Finding good features ;
• la liste des publications du Neural Network Council IEEE.

La liste de revues de PNNL est exhaustive et à jour. Chaque journal y est brièvement décrit, avec des pointeurs vers les éditeurs et les sources d'informations officielles ou officieuses disponibles (résumés, tables des matières, fichiers biblio au format BibTeX,...). Les trois principales revues spécifiques du domaine sont :

• Neural Computation, édité par MIT Press, avec les résumés des articles parus depuis janvier 1994 disponibles en-ligne. A l'origine ce journal traitait beaucoup des aspects statistiques, mais il semble qu'il s'oriente maintenant vers les neuro-sciences ;
• Transactions on Neural Networks, édité par l'IEEE, avec la table des matières du dernier numéro, et les résumés de quelques articles soumis (difficilement exploitable) ;
• Neural Networks, édité par Elsevier Science. Ce site donne aujourd'hui diverses informations sur le contenu du journal (table des matières, recherche par mot-clef,...).

De nombreux congrès sont partiellement ou totalement consacrés aux réseaux de neurones. Vous pouvez consulter :

• la liste des congrès réseaux de neurones sponsorisés ou non par l'IEEE ;
• la liste des congrès réseaux de neurones approuvés par le laboratoire :
• International Conference on Artificial Neural Networks ;
• ICANN'01 à Vienne ;
• ICANN'02 à Madrid ;
• Neural Information Processing Systems NIPS.

Bibliographies

Retour au sommaire

Les bibliographies d'informatique de A.-C. Achilles de l'Université de Karlsruhe contiennent une belle bibliographie réseaux de neurones. Quelques articles sont disponibles en-ligne. Il n'y a pas tout, mais c'est quand même très complet. Les recherches bibliographiques intelligence artificielle et réseaux de neurones de l'ÖFAI et de l'IMKAI vous donnent accès à de nombreux articles disponibles en-ligne. Les bibliographies (par support) de l'Université Technique de Vienne (TUW), sont des fichiers téléchargeables au format BibTeX. Ces fichiers existent pour les principaux journaux, les conférences NIPS (depuis NIPS'3), et des références d'ouvrages.

Si vous trouvez un référence intéressante, mais pas de version électronique ou papier, pensez à consulter le catalogue de l'INIST (particulièrement pour les articles de congrès et les thèses) pour commander cet article, ou à MathDoc pour demander un prêt inter-bibliothèque.

Publications en-ligne

Retour au sommaire

Il n'y a à ma connaissance qu'une seule revue réseaux de neurones publiée électroniquement et gratuitement (deux parutions depuis sa création) : Neural Computing Surveys. Le site privilégié de la litterature neuronale est sans doute l'archive ftp neuroprose, de l'Ohio State University, qui est régulièrement mise à jour depuis 1989, mais il semble que les moteurs de recherche aient mis un frein à l'expansion de cette base ces dernières années. Comme dans beaucoup d'autres domaines, il ne faut pas se priver d'user du moteur de recherche FermiVista créé par S. Fermigier, de l'Université de Paris 7. A consulter également : Machine Learning Search, maintenu par A. Ng, de l'Université de Berkeley et CS papers Cora, mis à disposition par un organisme de recherche privé Just Research. Pour les rapports techniques, vous pouvez regarder le Unified Computer Science TR Index, maintenu par M. VanHeyningen de l'Université d'Indiana, qui pointe vers les rapports techniques de plusieurs départements d'informatique. Ce site est moins complet que les précédents. Pour rappatrier des articles, voir également les outils de recherche bibliographiques.

Societés savantes, associations

Retour au sommaire

Encore une fois, le serveur de PNNL liste les sociétes savantes du domaine. Les principales sont :

• IEEE Neural Networks Council ;
• International Neural Network Society ;
• European Neural Network Society ;
• Japanese Neural Network Society.

L'ACTH (Association des Connexionistes en Thèse) est une association loi de 1901, dont le but est de favoriser les contacts et les échanges entre jeunes chercheurs du domaine.

Bases d'exploration

Retour au sommaire

Vous l'aurez compris PNNL est une excellente base de navigation. Le site Neural Networks du laboratoire PDP de l'Université de Macédoine est également intéressant. On peut également partir de NeuroNet, réseau européen du domaine. La page NeuroNet France pointe vers les groupes français. Vous trouverez une liste impressionante de pointeurs au Neural Networks Group du département d'informatique de l'Université de Florence. Plus générale, la page de recherche documentaire de l'IMAG à Grenoble regroupe de nombreux pointeurs sur des moteurs de recherches et des bases documentaires. Il y a bien sûr les moteurs de recherche classiques. Mon préféré est Google. En particulier, si vous recherchez la réponse à une question précise, vous pouvez consulter Google pour voir si elle n'a pas déjà été discutée dans un newsgroup.

---

Dernière modification le 14 janvier 2002,

grandval@hds.utc.fr

Retour au thème diagnostic