Genom historien har nyckelharpan utvecklats från ett enkelt instrument med bara två strängar till ett mer komplicerat sådant med både fler nycklar och fler strängar, för att sedan utvecklas till det något lättare, mindre instrumentet som framförallt är det som spelas idag. De gamla modellerna har dock delvis levt kvar parallellt med att nya modeller har utvecklats, något som är mycket ovanligt bland folkinstrument. Därför talar man idag om två huvudgrupper av nyckelharpor: gammelharpor och moderna harpor.
Gammelharporna kan i sin tur delas in i två grupper: kontrabasharpa och silverbasharpa. Kontrabasharpan har en rad nycklar (till skillnad från de moderna nyckelharpornas tre rader) och två melodisträngar, en eller två bordunsträngar och mellan 6 och 13 resonanssträngar. Denna modell av nyckelharpa har funnits sedan 1700-talet. Innan dess fanns också en enklare modell kallad enkelbasharpa, som bara hade en melodisträng. Kontrabasharpan utvecklades visserligen under 1700-talet, men det var denna enklare modell som var vanligast på den tiden.
Silverbasharpan kan sägas vara en vidareutveckling av kontrabasharpan. Den kallas också C-durharpa, tenorharpa och Tierpsharpa, och konstruerades sannolikt runt 1838. Denna mer komplicerade modell hade två rader nycklar, två melodisträngar och mellan 9 och 10 resonanssträngar.
Det finns också en modell som är en slags kombination av kontrabasharpan och silverbasharpan, som kallas Österbyharpa. Österbyharpan har 3 melodisträngar, två bordunsträngar och mellan 9 och 10 resonanssträngar. Denna harpa tros ha kommit till på 1860-talet.
Den harpa som skulle utvecklas till den moderna harpan är den som August Bohlin konstruerade i början av 1900-talet. Han kom på idén för sin konstruktion under sommaren 1929, då han var inbjuden att spela nyckelharpa på Skansen. Bohlin kom från Uppland, och han märkte snart att han inte kunde spela tillsammans med spelmännen som kom från andra landskap, eftersom de spelade i andra tonarter än i C-dur och F-dur. Efter denna sommar påbörjade därför Bohlin konstruktionen av en nyckelharpa som kunde spela i alla tonarter, som hade tre rader nycklar, ingen bordunsträng, och samma kropp som den äldre silverbasharpan. Runt år 1935 överlämnade Bohlin ritningarna till sin nyckelharpa åt instrumentbyggaren Erik Sahlström. Sahlström var också spelman och kompositör, och han skulle bidra stort till nyckelharpans spridning utanför Uppland efter 1970-talet.