O Groenendael orixinouse en Bélxica. Recibiu o seu nome dunha pequena aldea belga onde se criou por primeira vez. Orixinalmente pensado que era un can pastor belga, é unha das catro variedades que proceden desta familia.
Ademais dos Groenendael, tamén contan os Laekenois, os Malinois e os Tervueren. As catro razas son moi similares en personalidade e comportamento. Principalmente están divididos pola súa pelaxe. O factor decisivo para o Groenendael é que ten un pelaje groso case completamente negro.
Orixinalmente criado como pastor e can de pastoreo, un profesor de Bélxica comezou a separar as razas ao redor dos anos 1900. En 1891 fundouse o Club de Cans Pastor Belga (Club du Chien de Berger Belge) e en 1901 o Groenendael foi recoñecido oficialmente como unha raza separada.
Daquela, as súas tarefas consistían máis en conducir animais e en ocasións era usado como can de tiro, de garda e de granxa.