Eigentlich wollte die Diözese hier einmal ein Museum zur Kunst der Renaissance einrichten. Die Stadt Karlstadt wiederum übernahm es, den historischen Gebäudekomplex in der Hauptstraße aus dem 14. bis 16. Jahrhundert zu sanieren. Doch 2017, kurz vor dem Spatenstich, revidierte die Diözese ihr Museumskonzept und stieg aus dem Projekt aus. Jürgen Lenssen, emeritierter Domkapitular und ehemaliger Kunst- und Baureferent der Diözese, sprang ein: Er schenkte der Stadt einen Teil seiner privaten Kunstsammlung.