I 1946 forlangte De Allierede Styrker, at der ud over de etablerede 125 lejre skulle opføres yderligere 10% reservekapacitet af lejre, bl.a. for effektivt at kunne flytte flygtninge og isolere eventuelle epidemiudbrud, som var opstået i de eksisterende lejre.
Dette kom den lokale initiativgruppe i Hjørring for øre, og de foreslog derfor Flygtningeadministrationen at opføre en ferieby i Skallerup, men på en sådan måde, at den i første omgang skulle fungere som reservelejr for flygtninge, og senere – når de tyske flygtninge var vendt hjem - kunne ændres til ferieby.
Denne ide blev godt modtaget af myndighederne, så i sommeren 1946 opførtes flygtningelejren i rekordtempo. Flygtningeadministrationen havde i Sverige købt 2000 solide - men delvis uisolerede svenske skovmandshytter. 150 af disse hytter blev via skib og tog ført til den nu nedlagte Sønderlev station, og derfra videre på lastbil til Skallerup Seaside Resort, hvor de blev genopført som flygtningebarakker.
Der blev anlagt veje, centralkøkken, spisesal og sanitære bygninger, bl.a. aflusningscentral.
Lejren blev indhegnet med et højt pigtrådshegn, der skulle begrænse flygtningenes frihed og samtidigt beskytte dem mod overgreb fra civilbefolkningen, der efter besættelsestiden ikke så med blide øjne på det tyske folk. Der var strategisk placeret vagttårne og bevæbnede vagter patruljerede rundt om lejren.
Hver barak på 55 kvm bestod af et stort rum med hver 20-25 køjer med tang-madrasser. Midt i lokalet var der en kakkelovn, hvori der blev fyret med tørv. Det øvrige møblement bestod af et antal taburetter. Der var ikke indlagt vand eller toilet, men der var indrettet fire primitive toiletbarakker. Privatliv var der ikke meget af.
Flygtningelejren blev taget i brug i oktober 1946 og kunne huse 2.400 flygtninge. Lejren blev nedlagt i oktober 1947, hvor ca. 940 flygtninge blev overført til større lejre bl.a. Rylejren.
Feriecentret blev i 1995 kontaktet af familien Priebe - tre piger, der som børn havde opholdt sig i lejren sammen med deres mor. Priebe-søstrene har i breve beskrevet deres flugt fra hjemlandet og dagliglivet i flygtningelejren. Uddrag af brevene kan ses i museet sammen med effekter, som pigerne havde opbevaret siden deres ophold. I museet er der udstillet flere effekter og beretninger fra personer, der har oplevet en del af deres barndom som flygtninge i Skallerup lejren.