Die lange und bewegte Ortsgeschichte des Marktes Rimpar spiegelt sich im Schloss Grumbach, dem historischen Wahrzeichen Rimpars. Das heutige Erscheinungsbild geht zurück auf den Würzburger Fürstbischof Julius Echter, der hier seine Sommer- und Jagdresidenz einrichtete und die frühere Burg im Renaissancestil umbaute.

1980 von der Marktgemeinde erworben, befinden sich hier heute das Rathaus und gleich mehrere Museen. Ausgestellt werden archäologische Fundstücke aus der Vor- und Frühzeit sowie der Zeit Kelten, es gibt ein Bäckerei-, ein Trachten-, sowie ein Maurer- und Zimmermuseum. Die Rittersäle sollen laut Kunstkennern zu den „schönsten Renaissancesälen Deutschlands“ gehören.

Nicht jedermanns Sache ist das Kriminalmuseum, das sich mit dem frühneuzeitlichen Gerichtswesen zur Zeit Wilhelm von Grumbachs beschäftigt. Auch gibt es auf Vereinbarung Führungen in die Grumbachschen Verliese, viele metertiefe Steingewölbe, in denen die Gefangenen in Kälte und Nässe, ganz ohne Tageslicht vor sich dahin darbten.