1.1 The size of the search space Modeling the problem Change over time Constraints... 21

Transcription

1 Introduction : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 1 I What Are the Ages of My Three Sons? : : : : : : : : : : : : : : : : : 9 1 Why Are Some Problems Dicult to Solve? : : : : : : : : : : : : : : The size of the search space Modeling the problem Change over time Constraints The problem of proving things Your chance for glory Summary II How Important Is a Model? : : : : : : : : : : : : : : : : : : : : : : : 31 2 Basic Concepts : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : Representation The objective The evaluation function Dening a search problem Neighborhoods and local optima Hill-climbing methods Can you sink this trick shot? Summary III What Are the Prices in 7{11? : : : : : : : : : : : : : : : : : : : : : 49 3 Traditional Methods Part 1 : : : : : : : : : : : : : : : : : : : : : Exhaustive search Enumerating the SAT Enumerating the TSP Enumerating the NLP Local search Local search and the SAT Local search and the TSP

2 XII Table of Contents Local search and the NLP Linear programming: The simplex method Summary IV What Are the Numbers? : : : : : : : : : : : : : : : : : : : : : : : : 83 4 Traditional Methods Part 2 : : : : : : : : : : : : : : : : : : : : : Greedy algorithms Greedy algorithms and the SAT Greedy algorithms and the TSP Greedy algorithms and the NLP Divide and conquer Dynamic programming Branch and bound A algorithm Summary V What's the Color of the Bear? : : : : : : : : : : : : : : : : : : : : : Escaping Local Optima : : : : : : : : : : : : : : : : : : : : : : : : : Simulated annealing Tabu search Summary VI How Good Is Your Intuition? : : : : : : : : : : : : : : : : : : : : : An Evolutionary Approach : : : : : : : : : : : : : : : : : : : : : : : Evolutionary approach for the SAT Evolutionary approach for the TSP Evolutionary approach for the NLP Summary VII One of These Things Is Not Like the Others : : : : : : : : : : : : Designing Evolutionary Algorithms : : : : : : : : : : : : : : : : : : : Representation Fixed-length vectors of symbols Permutations Finite state machines Symbolic expressions Evaluation function Variation operators Fixed-length vectors of symbols Permutations Finite state machines Symbolic expressions Selection

3 XIII 7.5 Initialization Summary VIII What Is the Shortest Way? : : : : : : : : : : : : : : : : : : : : : The Traveling Salesman Problem : : : : : : : : : : : : : : : : : : : : In search for good variation operators Incorporating local search methods Other possibilities Edge assembly crossover Inver-over operator Summary IX Who Owns the Zebra? : : : : : : : : : : : : : : : : : : : : : : : : : Constraint-Handling Techniques : : : : : : : : : : : : : : : : : : : : General considerations Designing eval f Designing eval u Relationship between eval f and eval u Rejecting infeasible solutions Repairing infeasible individuals Replacing individuals by their repaired versions Penalizing infeasible individuals Maintaining a feasible population using special representations and variation operators Using decoders Separating individuals and constraints Exploring boundaries between feasible and infeasible parts of the search space Finding feasible solutions Numerical optimization Methods based on preserving the feasibility of solutions Methods based on penalty functions Methods based on a search for feasible solutions Methods based on decoders Hybrid methods Summary X Can You Tune to the Problem? : : : : : : : : : : : : : : : : : : : : : Tuning the Algorithm to the Problem : : : : : : : : : : : : : : : : : Parameter control in evolutionary algorithms Illustrating the case with an NLP Taxonomy of control techniques The possibilities for parameter control

4 XIV Table of Contents Representation Evaluation function Mutation operators and their probabilities Crossover operators and their probabilities Parent selection Population Combining forms of parameter control Summary XI Can You Mate in Two Moves? : : : : : : : : : : : : : : : : : : : : : Time-Varying Environments and Noise : : : : : : : : : : : : : : : : : Life presents a dynamic landscape The real world is noisy Ensuring diversity Summary XII Day of the Week of January 1st : : : : : : : : : : : : : : : : : : : Neural Networks : : : : : : : : : : : : : : : : : : : : : : : : : : : : : Threshold neurons and linear discriminant functions Back propagation for feed forward multilayer perceptrons Training and testing Recurrent networks and extended architectures Standard recurrent network Hopeld network Boltzmann machine Network of multiple interacting programs Clustering with competitive networks Using neural networks to solve the TSP Evolving neural networks Summary XIII What Was the Length of the Rope? : : : : : : : : : : : : : : : : : Fuzzy Systems : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : Fuzzy sets Fuzzy sets and probability measures Fuzzy set operations Fuzzy relationships Designing a fuzzy controller Fuzzy clustering Fuzzy neural networks A fuzzy TSP Evolving fuzzy systems Summary

5 XV XIV Do You Like Simple Solutions? : : : : : : : : : : : : : : : : : : : Hybrid Systems : : : : : : : : : : : : : : : : : : : : : : : : : : : : : Summary Summary : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 403 Appendix A: Probability and Statistics : : : : : : : : : : : : : : : : : : 415 A.1 Basic concepts of probability A.2 Random variables A.2.1 Discrete random variables A.2.2 Continuous random variables A.3 Descriptive statistics of random variables A.4 Limit theorems and inequalities A.5 Adding random variables A.6 Generating random numbers on a computer A.7 Estimation A.8 Statistical hypothesis testing A.9 Linear regression A.10 Summary Appendix B: Problems and Projects : : : : : : : : : : : : : : : : : : : : 435 B.1 Trying some practical problems B.2 Reporting computational experiments with heuristic methods References : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 445 Index : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 465