El Groenendael se originó en Bélgica. Obtuvo su nombre de un pequeño pueblo belga donde se crió por primera vez. Originalmente se pensó que era un perro pastor belga, es una de las cuatro variedades que provienen de esta familia.
Además del Groenendael, también cuentan el Laekenois, el Malinois y el Tervueren. Las cuatro razas son muy similares en personalidad y comportamiento. En su mayoría están divididos por su pelaje. El factor decisivo para el Groenendael es que tiene un pelaje espeso, casi completamente negro.
Originalmente criado como perro pastor y pastor, un profesor de Bélgica comenzó a separar las razas alrededor del siglo XX. En 1900 se fundó el Club de perros pastores belgas (Club du Chien de Berger Belge) y en 1891 el Groenendael fue reconocido oficialmente como una raza separada.
En ese momento, sus tareas consistían más en conducir animales y ocasionalmente fue utilizado como perro de tiro, guardián y perro de granja.