Omtrent midt i sognet oppe på det flade land ligger gravhøjen ”Hammershøj”. Det er sognets højeste punkt der ligger 67 meter over havets overflade. Efter stednavneforskernes opfattelse har denne høj givet navn til sognet og byen. Efter ældre folks udsagn har der oprindeligt her været to gravhøje. Den, der er tilbage, kaldtes Store Hammershøj – en mindre høj, der lå lidt mod øst, kaldtes så Lille Hammershøj.
Folkemindeforskeren Evald Tang Kristensen fortæller i en af sine samlinger ”Sagn og Overtro fra Jylland”, 1883, at han havde hørt fortalt, at der i højen skulle være begravet en kæmpe ved navn Hammer, deraf skulle højen have sit navn. Den samme historie har jeg hørt flere ældre her i byen fortælle, blot var det nu ikke en kæmpe, men en konge, der hed Hammer.
Evald Tang Kristensen fortæller videre, at der i højen skulle være begravet 7 års skat, som flere har gravet efter, men uden at finde noget.
Højen ligger på privat grund, ejendommen Nørbækvej 10. Fra ejendommen kan man følge et markskel op til højen. Vil man besøge højen, må man spørge om tilladelse på ejendommen.
I Nationalmuseets registrering (sognebeskrivelsen) har højen nr. 9 i Hammershøj sogn. Ifølge beskrivelsen skulle højen være 12 meter høj og have en diameter på 60 meter.
I dag er højen noget mindre.

Højen blev stærkt ødelagt under sidste verdenskrig. Anders Baltzersen var da ejer af ejendommen, og hans søn Svend Baltzersen fortæller om dette:
På "Hammershøj" oprettede tyskerne en lyttepost. Der blev gravet en fordybning i toppen af højen, - her kunne vagtposten opholde sig under en presenning. Nede på højens sider blev der lavet en slags skyttegrav/brystværn, hvorfra vagtmandskab i sikkerhed kunne overvåge højens omgivelser og forsvare vagtposten. Ligeledes var der øst for højen ved tjørnehækken gravet en skyttegrav. I bunden af skyttegraven på højen var der lagt en bred murstensgang, og brystværnets side var afstivet med stolper og brædder. Højen var kamufleret og der blev plantet træer omkring højen. Et af disse grantræer blev, da Nationalmuseet reparerede højen efter krigen, flyttet til den plads, hvor det står endnu.
Mens opbygningen af posten stod på, kom der en tysker ned i ejendommen og spurgte efter en "beil" (en økse). Men Anders Baltzersen svarede: "Nej, jeg har ingen 'bil' ".
Der var 12 mand stationeret ved lytteposten, og af disse var der til stadighed 4 på vagt. I begyndelsen var tyskerne indkvarteret rundt om i byen, senere blev Anders Baltzersen beordret til at huse 8 af dem. Der blev senere bygget en træbarak et stykke nord for højen, hvor hele styrken blev indkvarteret.
Svend fortæller: Tyskerne var meget fredelige og omgængelige. Børnene fra byen gik meget oppe ved lytteposten, og også de unge piger og karle fra byen kom derud om aftenen. Tyskerne ville gerne høre engelsk radio (presse), men så kom de enkeltvis - de var nok bange for at afsløre denne interesse for de øvrige i styrken. Engang sad der dog to og hørte engelsk radio; de hørte da ikke at der kom en befalingsmand. Men denne var så diskret at lave støj, så de to blev klar over, at der kom en, og de fik så i en fart lukket for radioen. Befalingsmanden lod sig ikke mærke med noget.
Svend og Erna har efter krigen haft forbindelse med en af de tyske soldater (Valter David), der en overgang lå ved lytteposten.

Svend Baltzersen fortæller, at højen blev reetableret af Nationalmuseet midt i 1950’erne.