Groenendael sai alkunsa Belgiasta. Se sai nimensä pienestä belgialaiskylästä, jossa se ensimmäisen kerran kasvatettiin. Alunperin Belgianpaimenkoiraksi ajateltuna se on yksi neljästä tämän perheen lajikkeesta.
Groenendaelin lisäksi lasketaan mukaan Laekenois, Malinois ja Tervueren. Nämä neljä rotua ovat luonteeltaan ja käytökseltään hyvin samanlaisia. Ne jakautuvat enimmäkseen turkkinsa mukaan. Ratkaiseva tekijä Groenendaelissa on paksu, lähes kokonaan musta turkki.
Alun perin paimen- ja paimenkoiraksi kasvatettu belgialainen professori aloitti rotujen erottamisen 1900-luvun tienoilla. Vuonna 1891 perustettiin Belgianpaimenkoiraklubi (Club du Chien de Berger Belge) ja vuonna 1901 Groenendael tunnustettiin virallisesti erilliseksi roduksi.
Tuolloin hänen tehtävänsä koostuivat enemmän eläinten ajamisesta ja häntä käytettiin silloin tällöin veto-, vartio- ja maatilan koirana.