Historisch bekannt geworden ist das Schloss durch einen seiner bekanntesten Schlossherrn von Rimpar, Wilhelm von Grumbach (1503-1567), einem angeblich skrupellosen Abenteurer und Kriegsherrn. Bekannt wurde er durch eine blutige Fehde, die er - ein Anhänger des Protestantismus - gegen Fürstbischof Melchior Zobel von Giebelstadt führte. Grumbach gilt als Auftraggeber für eine Gruppe von Wegelagerern, die den Fürstbischof an der Alten Mainbrücke ermordeten. Allerdings waren seine Güter, die sich um Würzburg herum gruppierten und seine erhebliche Streitmacht auch dem geistlichen Fürsten ein Dorn im Auge.
Grumbach flüchtete nach Frankreich. Von hier aus organisierte er politische Ränke zwischen den europäischen Landesherren und schürte einen allgemeinen Ritteraufstand. Da ihm das Geld ausging, kam es nicht so weit. Mit der Reichsacht bedacht, wurde er schließlich im sächsischen Gotha gestellt. Seine Strafe: Hinrichtung durch Vierteilen. Das Richtschwert, mit dem er gerichtet wurde, ist heute im Schloss ausgestellt. Ob Wilhelm von Grumbach wirklich der Unhold war, wie er oft dargestellt wird, ist heute unklar. Das Bild, das wir heute von ihm haben, geht zurück auf die katholische, gegenreformatorische Geschichtsschreibung: Neutral war sie nicht.