Das repräsentative Zeiler Caritashaus weckte bei den Machthabern während des Dritten Reiches Begehrlichkeiten und den Wunsch, die Räumlichkeiten für ihre Zwecke zu nutzen. Nach dem Beginn des Zweiten Weltkrieges belegte man es mit 43 Evakuierte, bei denen es sich um Mütter, Kinder und alte Leute handelte. Hier wurden sie betreut und mit dem Nötigsten versorgt.