Wölfer bewarb sich an der Uni in Würzburg, wo schon sein Vater 1923 Medizin studiert hatte und wurde angenommen. Die Studienjahre führten ihn außerdem nach Hamburg und München.

Wölfer war auch in der Studentenvertretung, dem AStA aktiv und beteiligte sich an einer Unterschriftenaktion an das Kultusministerium in München im Zusammenhang mit einer Initiative zum Bau der Universitätskinderklinik. Nach dem Staatsexamen in Würzburg war Wölfer ab 1956 als Arzt in der Medizinischen Universitätsklinik tätig.

Als promovierter Facharzt für innere Krankheiten verfasste er zahlreiche wissenschaftliche Veröffentlichungen und hielt Vorträge. Er bildete mehrere japanische Ärzte aus, die Professoren wurden und regelmäßig Würzburg besuchen, zuletzt 2008 bei einem Symposion des Siebold-Museum.

1965 eröffnete Wölfer seine internistischen Praxis in der Kaiserstraßee, die er bis 1993 hatte, in den letzten sieben Jahren als Gemeinschaftspraxis mit Dr. Küstner. Zahlreich sind die Hobbys des Jubilars. Ab 1970 war er Jachtpächter in Thüngersheim und Güntersleben und 1981 Hegeringleiter des Bezirks Ravensburg.

Er ist Mitglied in den Tennisclubs Weiß-Blau und Heidingsfeld; 1976 wurde er in Bad Herrenalb Ärztemeister im Tennis. Auch Tier- und Umweltschutzorganisationen sowie dem Golfclub Würzburg gehört er an, ebenso wie seit der Studentenzeit den „Mainländern“.