Mange af de indvandrede duede ikke som agerdyrkere, andre var skuffede over forholdene, der ikke svarede til det, der var lovet dem. Nogle rejste derfor hurtigt i skuffelse over det tilbudte.
I 1763 mente den danske konge, at der var brug for færre til hedens opdyrkning, så man lavede en vurdering af egnede og uegnede. en del familier blev på den baggrund udvist.
Samtidig truede man med at inddrage de tilbageblevnes dagpenge.
Mange udvandrede derfor på dette tidspunkt. Nogle rejste hjem igen, og andre rejste til Rusland, hvor kejserinden Katharina den Store havde lovet dem jord ved Volga-floden. Det blev de såkaldte Volga-tyskere. En anden gruppe kolonister kom til den tyske koloni Hirschenhof i Letland.
