Haus Döllberg ist ein ehemaliger Adelssitz aus dem 13. Jahrhundert. 1296 wurde erstmals urkundlich erwähnt, dass sich das Rittergut im Besitz von Konrad von Volenspit befand. Knapp 100 Jahre später 1397 vergab Rolf von Volenspit das Lehen an Johann von Suthausen (gennant Dulbergh). 1563 kaufte Familie von der Heese das Gut. Anschließend erwarb es Johann von Röll 1648 nach der Heirat mit Elisabeth Brüggemann im Jahr 1635. 1795 wurde es an den unnaer Balthasar Christian, der den Namen Schulze-Wiehenbrauck annahm, verkauft.
Seit 2001 ist es nun im Besitz der Familie Bläser. Das Anwesen wurde komplett renoviert und restauriert. In einem der Torhäuser wurde ein Ausstellungsraum eingerichtet, der nun der Bläser-Stiftung zur Präsentation von Kunst und für Veranstaltungen dient.