Graaf Boudewijn maakte een kasteel ter verdediging tegen de Vikings. Later maakte Graaf Filips van den Elzas van dit kasteel een burcht. De graaf van het Gravensteen was steenrijk. De meeste kastelen waren van hout, maar de graaf van het Gravensteen was zo rijk dat hij een kasteel van steen kon laten bouwen. Rondom het kasteel is er een brede gracht waardoor de vijand niet onopgemerkt kon binnen komen. De buitenmuren waren hoog, dik en sterk. De schietgaten waren smal zodat de vijand er met heel weinig kans door kon schieten. Toen de vijand over de gracht was met de ladders, zetten ze deze tegen de kasteelmuren maar de ridder en zijn helpers probeerden deze om te gooien. Bij gevaar konden de boeren naar het kasteel komen voor bescherming. In ruil hiervoor moesten ze belasting betalen of eten geven. Nu is het Gravensteen een museum geworden.
