Groenendael berasal dari Belgium. Ia mendapat namanya dari sebuah kampung kecil Belgium di mana ia pertama kali dibiakkan. Pada asalnya dianggap sebagai Anjing Gembala Belgium, ia adalah salah satu daripada empat jenis yang berasal dari keluarga ini.
Selain Groenendael, Laekenois, Malinois, dan Tervueren juga dikira. Keempat-empat baka ini sangat serupa dari segi personaliti dan tingkah laku. Mereka kebanyakannya dibahagikan dengan bulu mereka. Faktor penentu untuk Groenendael ialah ia mempunyai kot tebal, hampir hitam sepenuhnya.
Pada asalnya dibiakkan sebagai anjing gembala dan penggembala, seorang profesor dari Belgium mula mengasingkan baka sekitar tahun 1900-an. Pada tahun 1891 Kelab untuk Anjing Gembala Belgium (Club du Chien de Berger Belge) telah diasaskan dan pada tahun 1901 Groenendael telah diiktiraf secara rasmi sebagai baka yang berasingan.
Pada masa itu, tugasnya lebih kepada memandu haiwan dan dia kadang-kadang digunakan sebagai draf, pengawal, dan anjing ternakan.