‘Huize Lievensberg’ is halverwege de 19e eeuw, in 1846, gebouwd door Johannes de Ram. Hij was arts en wethouder in Bergen op Zoom. Het buiten werd door de familie de Ram bewoond totdat Marie de Ram het in 1938 verkocht aan de broeders van de Onbevlekte Ontvangenis van Maria uit Maastricht.
Zij verkochten het weer aan de gemeente Bergen op Zoom in 1958 en het heeft tot 11 jaar geleden een invulling gekend van zorg voor kinderen van NSB-ers, dagverblijf voor gehandicapte kinderen, drugsverslavings-zorg en leegstand.
De laatste 11 jaar ( v.a. 2014) is het gebouw door Don van Rooij c.s. geweldig opgeknapt en is én een Bed and Breakfast Villa Heidetuin én een prima terras geworden.
Van hieruit kan het landgoed Lievensberg met de benenwagen en de fiets geweldig verkend worden.