Geboren wurde Radulf Graf zu Castell-Rüdenhausen am 22. August 1922 in Stein bei Nürnberg. Seine Jugend verbrachte der Vetter von Siegfried Fürst zu Castell-Rüdenhausen auf dem Schwanberg und in Oberstdorf im Allgäu. In München studierte er Chemie, Zoologie und Forstwissenschaften. Er widmete sich auch den Rechtswissenschaften.
Den Besitz am Schwanberg bekam er beim Tod seines Vaters im Jahr 1928 überschrieben. Eigentlicher Herr auf dem Schwanberg wurde er im Jahr 1947. Ein großes Anliegen war dem Graf der Erhalt des viel besuchten Parkes auf dem Schwanberg. Seinem Einsatz war es auch zu verdanken, dass der Schwanberg heute seinen hohen Bekanntheitsgrad hat.
Der Graf war Gründungsmitglied der Winzergenossenschaft Rödelsee. Im Lauf der Jahre hat er die Gemeinde und vor allem auch die Kirchen in vielfältiger Weise unterstützt. Nicht zuletzt dafür ist er mit der Ehrenbürgerwürde ausgezeichnet.
Der Trauergottesdienst findet am Dienstag, 12. Oktober, um 14 Uhr in der St. Michaelskirche auf dem Schwanberg statt.