Kääbuspinšer on vana tõug, mis ilmus Saksamaal vähemalt 200 aastat tagasi. Selle kujunemine toimus enne tõuraamatute moodi tulekut, mistõttu on osa loost üsna ebamäärane.
See on üks vanimaid ja levinumaid koeratõuge pinšerite/terjerite rühmas. Sellesse rühma kuuluvate koerte päritolu on ebaselge, kuid nad on teeninud saksa keelt kõnelevaid hõime sadu, kui mitte tuhandeid aastaid. Nende põhiülesanne oli rottide ja muude näriliste hävitamine, kuigi mõned neist olid valve- ja karjakoerad.
Seni on pinšereid ja šnautsereid peetud üheks tõuks, kuid väikeste erinevustega. Enamik eksperte nimetab Saksa pinšerit selle tõu esivanemaks, millest kõik muud variatsioonid alguse said, kuid veenvaid tõendeid selle kohta pole. Vanimad tõendid pärinevad aastast 1790, mil Albert Dürer maalis koeri täpselt nagu tänapäeva Saksa pinšerid.