«Θα μπορούσα να συνεχίσω, αλλά έχουν συμβεί πολλά στην οικογένειά μου. Σκέφτηκα ότι ίσως θα ήταν ένας χρόνος ανάπαυσης, άδειας και αντ 'αυτού νομίζω ότι δεν θα επιστρέψω ξανά να κάνω τον προπονητή», είπε ο πρώην προπονητής του Άγιαξ, Μπαρτσελόνα, Μπάγερν και της Μάντσεστερ Γιουνάιτεντ, στον Guardian.
Αυτό που έπαιξε καθοριστικό ρόλο στην απόφασή του, ήταν ο θάνατος του συζύγου ενός από τις δύο κόρες του Ολλανδού.
Μετά μία καριέρα ενός όχι εξαιρετικού παίκτη, βρέθηκε στον πάγκο του Αγιαξ και αποκαλύφθηκε στο ευρύ κοινό. Από το 1988 έως το 1991 ήταν βοηθός του Λέο Μπεενάκερ στον Αγιαξ , πριν τον διαδιαδεχθεί, την ημέρα αποχώρησης του μέντορά του. Έξι χρόνια ως προπονητής, κέρδισε τρία εθνικά πρωταθλήματα, ένα ολλανδικό Κύπελλο, το Κύπελλο UEFA το 1992 και το Champions League το 1995, πριν χάσει τον ευρωπαϊκό τίτλο στα πέναλτι κατά της Γιουβέντους το 1996.
Μετακόμισε στην Ισπανία το 1997 για να βρεθεί στο τιμόνι της Μπαρτσελόνα, , όπου κέρδισε δύο τίτλους πρωταθλήματος και ένα Copa del Rey. Γίνετai ομοσπονδιακός προπονητής στην Ολλανδία το 2000, αλλά απέτυχε να την οδηγήσει στα τελικά του Μουντιάλ του 2002 στην Νότια Κορέα και την Ιαπωνία. Μετά από μια σύντομη επιστροφή στη Μπαρτσελόνα, σταμάτησε για λίγο καιρό να προπονεί.
Το 2005 έγινε ο προπονητής της ΑΖ Άλκμααρ το 2005 και τον Απρίλιο του 2009 κατακτά μαζί τον τίτλο στην Ολλανδία, για πρώτη φορά από το 1981.
Ένα μήνα μετά πάει την Μπάγερν για να διαδεχθεί τον Γιουπ Χάινκενς. Κέρδισε την Bundesliga στην πρώτη του σεζόν, το Κύπελλο και έφτασε με την Μπάγερν στον τελικό του Champions League.
Επιλέγεται ομοσπονδιακός προπονητής στην Ολλανδία για δεύτερη φορά τον Ιούλιο του 2012, οδηγώντας την εθνική ομάδα του στο Μουντιάλ της Βραζιλίας, με εννέα νίκες και μία ισοπαλία στην προκριματική φάση. Η ομάδα του Φαν Γκάαλ , χάνοντας την συμμετοχή στον τελικό στα πέναλτι από την Αργεντινή και τελικά κερδίζει τη μάχη της τρίτης θέσης.
Στη συνέχεια, δύο χρόνια στη Μάντσεστερ Γιουνάιτεντ, που της χαρίζει το Κύπελλο, το τελευταίο της τρόπαιο.
