Artificial intelligence
An introduction to
Neural
..
Ben Krose
Networks
Patrick van der Smagt
Eighth edition
November 1996
2
c 1996 The University of Amsterdam. Permission is granted to distribute single copies of this book for non-commercial use, as long as it is distributed as a whole in its original form, and the names of the authors and the University of Amsterdam are mentioned. Permission is also granted to use this book for non-commercial courses, provided the authors are noti ed of this beforehand. The authors can be reached at:
Ben Krose
Faculty of Mathematics & Computer Science
University of Amsterdam
Kruislaan 403, NL{1098 SJ Amsterdam
THE NETHERLANDS
Phone: +31 20 525 7463
Fax: +31 20 525 7490 email: krose@fwi.uva.nl
URL: http://www.fwi.uva.nl/research/neuro/
Patrick van der Smagt
Institute of Robotics and System Dynamics
German Aerospace Research Establishment
P. O. Box 1116, D{82230 Wessling
GERMANY
Phone: +49 8153 282400
Fax: +49 8153 281134 email: smagt@dlr.de
URL: http://www.op.dlr.de/FF-DR-RS/
Contents
Preface
9
I FUNDAMENTALS
11
1 Introduction
2 Fundamentals
13
15
2.1 A framework for distributed representation
2.1.1 Processing units : : : : : : : : : : :
2.1.2 Connections between units : : : : :
2.1.3 Activation and output rules : : : : :
2.2 Network topologies : : : : : : : : : : : : : :
2.3 Training of arti cial neural networks : : : :
2.3.1 Paradigms of learning : : : : : : : :
2.3.2 Modifying patterns of connectivity :
2.4 Notation and terminology : : : : : : : : : :
2.4.1 Notation : : : : : : : : : : : : : : : :
2.4.2 Terminology : : : : : : : : : : : : :
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
Neural
..
Ben Krose
Networks
Patrick van der Smagt
Eighth edition
November 1996
2
c 1996 The University of Amsterdam. Permission is granted to distribute single copies of this book for non-commercial use, as long as it is distributed as a whole in its original form, and the names of the authors and the University of Amsterdam are mentioned. Permission is also granted to use this book for non-commercial courses, provided the authors are noti ed of this beforehand. The authors can be reached at:
Ben Krose
Faculty of Mathematics & Computer Science
University of Amsterdam
Kruislaan 403, NL{1098 SJ Amsterdam
THE NETHERLANDS
Phone: +31 20 525 7463
Fax: +31 20 525 7490 email: krose@fwi.uva.nl
URL: http://www.fwi.uva.nl/research/neuro/
Patrick van der Smagt
Institute of Robotics and System Dynamics
German Aerospace Research Establishment
P. O. Box 1116, D{82230 Wessling
GERMANY
Phone: +49 8153 282400
Fax: +49 8153 281134 email: smagt@dlr.de
URL: http://www.op.dlr.de/FF-DR-RS/
Contents
Preface
9
I FUNDAMENTALS
11
1 Introduction
2 Fundamentals
13
15
2.1 A framework for distributed representation
2.1.1 Processing units : : : : : : : : : : :
2.1.2 Connections between units : : : : :
2.1.3 Activation and output rules : : : : :
2.2 Network topologies : : : : : : : : : : : : : :
2.3 Training of arti cial neural networks : : : :
2.3.1 Paradigms of learning : : : : : : : :
2.3.2 Modifying patterns of connectivity :
2.4 Notation and terminology : : : : : : : : : :
2.4.1 Notation : : : : : : : : : : : : : : : :
2.4.2 Terminology : : : : : : : : : : : : :
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
: