Gamla gården på sydvästra delen av ön började byggas 1784 och kallades då nybygget. Här fanns det sedan bofast befolkning fram till 1870-talet då Madame Söderlund flyttade från platsen.

Som mest aktivitet här var på 1830–1840-talen då skeppsvarvet i intilliggande Varvsbukten var igång. Totalt bodde då runt 100 personer på ön, varav huvuddelen vid Gamla Gården.

I dag finns resterna kvar efter byggnader uppförda i början av 1800-talet. Den beryktade Petter Gottbergs bostad, Herrgården, kan bara ses som en upphöjning i marken.