ولد جيمس إيرل كارتر جونيور في الأول من أكتوبر عام 1924 في بلينز، جورجيا، وكان والده، جيمس الأب، مزارعًا مجتهدًا للفول السوداني يمتلك قطعة أرض صغيرة خاصة به بالإضافة إلى مستودع ومخزن وكانت والدته، بيسي ليليان غوردي، ممرضة مسجلة تجاوزت في عشرينيات القرن الماضي الانقسامات العرقية لتقديم المشورة للنساء السود بشأن قضايا الرعاية الصحية.
وعندما كان كارتر يبلغ من العمر أربع سنوات، انتقلت العائلة إلى الرماية، وهي بلدة تبعد حوالي ميلين عن السهول، وكانت مدينة ذات كثافة سكانية منخفضة وريفية عميقة، حيث ظلت العربات التي يجرها البغال الوسيلة السائدة للنقل والكهرباء والسباكة الداخلية لا تزال غير شائعة، وكان كارتر صبيًا مجتهدًا تجنب المتاعب وبدأ العمل في متجر والده في سن العاشرة، وكانت هوايته المفضلة في طفولته يجلس مع والده في المساء، ويستمع إلى مباريات البيسبول والسياسة على الراديو الذي يعمل بالبطاريات.