O Groenendael é originário da Bélgica. Seu nome vem de uma pequena vila belga onde foi criado pela primeira vez. Originalmente pensado para ser um cão pastor belga, é uma das quatro variedades desta família.
Além dos Groenendael, também contam os Laekenois, os Malinois e os Tervueren. As quatro raças são muito semelhantes em personalidade e comportamento. Eles são divididos principalmente por sua pele. O fator decisivo para o Groenendael é que ele possui uma pelagem espessa, quase totalmente preta.
Originalmente criado como pastor e cão pastor, um professor da Bélgica começou a separar as raças por volta de 1900. Em 1891, o Clube dos Pastores Belgas (Club du Chien de Berger Belge) foi fundado e em 1901 o Groenendael foi oficialmente reconhecido como uma raça separada.
Naquela época, suas tarefas consistiam mais em conduzir animais e ocasionalmente ele era usado como cão de tração, de guarda e de fazenda.