Irmgard Bergmann wurde am 9. März 1935 in Gabolshausen bei Bad Königshofen geboren. Sie wuchs als Jüngste von vier Töchtern auf einem kleinen Bauernhof auf. Ihre Kindheit war von Schwierigkeiten geprägt, da ihre Mutter bereits verstarb, als Irmgard erst sechs Jahre alt war. Aufgrund der familiären Umstände musste sie früh auf dem Hof und im Haushalt mithelfen.