Når det handler om at klare sig under barske livsbetingelser, så burde aggerboerne have tildelt en fortjenstmedalje. Få steder i Danmark har fået så hård en medfart af naturkræfterne som Agger. I middelalderen og frem til 1825 var Aggertangen den eneste faste vejforbindelse, der knyttede Thy sammen med det øvrige Vestjylland. Den rute havde stor betydning, når studene skulle drives til marked sydpå.
Aggerområdet var et udsat sted, hvor havet kunne finde på at tage et bid landjord og endda helt overskylle tangen. Ser man på gamle kort, vil man finde navne som Nabe, Bollum, Toft, Aalum og Vester Agger. Det er alle byer, som nu er forsvundet i havet. Et direkte brud på tangen fandt sted i 1825, men den nuværende Thyborøn Kanal blev først dannet ved en stormflod i 1862.
Et levende indtryk af de spartanske levevilkår får man under et besøg i Fiskerhuset i Agger, der åbnede som museum i 2005. Det er som at være på besøg hos en familie, før de moderne bekvemmeligheder vandt indpas. Når du går ind, så husk at bøje hovedet, for der er lavt til loftet. Huset er fredet og er i sig selv en museumsgenstand. Det blev sandsynligvis bygget i 1749, idet dette årstal er indskåret i en skabslåge i køkkenet. Til huset hører der et anneks, hvor der hver sommer vises en særudstilling.
Fiskerhuset har et såkaldt udskud mod vest. Det er karakteristisk for højremshuse, som engang var ret almindelige nord for Limfjorden. Taget bæres at to bjælker (højremme), men i en del af huset er der ført stikspær ud til lave ydervægge, så der dannes et udskud.