Die Kolpingsfamilie Gerolzhofen hat es zur Tradition gemacht, jährlich eine Andacht in einer Kirche außerorts zu zelebrieren. Man entschied sich für die Ortskirche von Herlheim, die dem heiligen Jacobus dem Älteren geweiht ist. Die Urkirche wurde 1237 eingeweiht, mit den Kirchenpatronen St. Veit und St. Jacobus, aus deren Zeit die Türme und die unteren Geschosse sind. 1537 gab es eine bauliche Veränderung mit nunmehr drei Altären. In einer Nachweihe wurde nun Jacobus der Ältere als Patron genannt. 1970 wurden die beiden Seiten angebaut und eine neue Sakristei.