Kääpiöpinseri on vanha rotu, joka ilmestyi Saksassa ainakin 200 vuotta sitten. Sen muodostuminen tapahtui ennen kuin kantakirjat tulivat muotiin, joten osa tarinasta on melko epämääräistä.
Se on yksi pinseri/terrieriryhmän vanhimmista ja yleisimmistä koiraroduista. Tämän ryhmän koirien alkuperä on epäselvä, mutta ne ovat palvelleet saksankielisiä heimoja satoja, ellei tuhansia vuosia. Heidän päätehtävänään oli rottien ja muiden jyrsijöiden hävittäminen, vaikka jotkut olivat vartio- ja karjakoiria.
Tähän asti pinsereitä ja snautsereita on pidetty yhtenä roduna, mutta pienillä eroilla. Useimmat asiantuntijat kutsuvat saksanpinseriä rodun esi-isäksi, josta kaikki muut muunnelmat ovat peräisin, mutta tästä ei ole vakuuttavia todisteita. Vanhimmat todisteet ovat vuodelta 1790, jolloin Albert Dürer maalasi koiria aivan kuten nykyaikaiset saksalaiset pinserit.