References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57 Chapter 3 Flexible Neural Networks . . . . . . . . . . . . . . . . . . . . . . . . 61 3. 1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61 3. 2 Flexible Unipolar Sigmoid Functions . . . . . . . . . . . . . . . . . . . . . . . . . . 62 3. 3 Flexible Bipolar Sigmoid Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . 64 3. 4 Learning Algorithms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66 3. 4. 1 Generalized learning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67 3. 4. 2 Specialized learning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71 3. 5 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72 3. 6 Combinations of Flexible Artificial Neural Network Topologies . . . . 79 3. 7 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82 Chapter 4 Self-Tuning PID Control 85 4. 1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85 4. 2 PID Control . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87 4. 3 Flexible Neural Network as an Indirect Controller . . . . . . . . . . . . . . . 91 4. 4 Self-tunig PID Control . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93 4. 5 Simulation Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 94 4. 5. 1 The Tank model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 94 4. 5. 2 Simulation study . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 96 4. 5. 3 Simulation results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99 4. 6 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 104 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 105 Chapter 5 Self-Tuning Computed Torque Control: Part I 107 5. 1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107 5. 2 Manipulator Model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 108 5. 3 Computed Torque Control . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 110 5. 4 Self-tunig Computed Torque Control . . . . . . . . . . . . . . . . . . . . . . . . . 111 5. 5 Simulation Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 115 5. 5. 1 Simultaneous learning of connection weights and SF para- ters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 116 5. 5. 2 Learning of the sigmoid function parameters . . . . . . . . . . . . . 123 Vll 5. 5. 3 Simultaneous learning of SF parameters and output gains 129 5. 6 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 135 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 135 Chapter 6 Self-Tuning Computed Torque Control: Part II 137 6. 1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 137 6. 2 Simplification of Flexible Neural Networks . . . . . . . . . . . . . . . . . . . . 138 6. 3 Simulation Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 140 6. 3. 1 Simultaneous learning of connection weights and sigmoid function parameters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57 Chapter 3 Flexible Neural Networks . . . . . . . . . . . . . . . . . . . . . . . . 61 3. 1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61 3. 2 Flexible Unipolar Sigmoid Functions . . . . . . . . . . . . . . . . . . . . . . . . . . 62 3. 3 Flexible Bipolar Sigmoid Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . 64 3. 4 Learning Algorithms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66 3. 4. 1 Generalized learning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67 3. 4. 2 Specialized learning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71 3. 5 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72 3. 6 Combinations of Flexible Artificial Neural Network Topologies . . . . 79 3. 7 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82 Chapter 4 Self-Tuning PID Control 85 4. 1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85 4. 2 PID Control . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87 4. 3 Flexible Neural Network as an Indirect Controller . . . . . . . . . . . . . . . 91 4. 4 Self-tunig PID Control . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93 4. 5 Simulation Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 94 4. 5. 1 The Tank model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 94 4. 5. 2 Simulation study . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 96 4. 5. 3 Simulation results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99 4. 6 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 104 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 105 Chapter 5 Self-Tuning Computed Torque Control: Part I 107 5. 1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107 5. 2 Manipulator Model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 108 5. 3 Computed Torque Control . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 110 5. 4 Self-tunig Computed Torque Control . . . . . . . . . . . . . . . . . . . . . . . . . 111 5. 5 Simulation Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 115 5. 5. 1 Simultaneous learning of connection weights and SF para- ters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 116 5. 5. 2 Learning of the sigmoid function parameters . . . . . . . . . . . . . 123 Vll 5. 5. 3 Simultaneous learning of SF parameters and output gains 129 5. 6 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 135 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 135 Chapter 6 Self-Tuning Computed Torque Control: Part II 137 6. 1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 137 6. 2 Simplification of Flexible Neural Networks . . . . . . . . . . . . . . . . . . . . 138 6. 3 Simulation Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 140 6. 3. 1 Simultaneous learning of connection weights and sigmoid function parameters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .