Jimmy Carter urodził się w rodzinie farmerskiej w stanie Georgia w 1924 r. Dzieciństwo w rodzinnym Plains wspominał w autobiografii: „W latach wielkiej depresji przypominało życie na farmie raczej sprzed 2000 lat”. Chodziło się do wygódki, nie było elektryczności. Ojca zapamiętał jako zagorzałego zwolennika segregacji. Na nabożeństwa rodzina uczęszczała do kościoła baptystów, posiłki rozpoczynała modlitwą. Georgia słynie z orzeszków ziemnych. Carterowie także je uprawiali. Pięcioletni Jimmy sprzedawał fistaszki na ulicach Plains. Wiele lat później powiedział: „Orzeszki mam we krwi”. „Był świadomy i dumny ze swego południowego pochodzenia i wrażliwy na najmniejsze lekceważenie lub wyższość okazywane mu przez Amerykanów z Północy, a szczególnie zasiedziałych waszyngtończyków” – zapamiętał jego doradca Zbigniew Brzeziński.
Po ukończeniu Plains High School, w 1941 r. rozpoczął studia inżynieryjne na lokalnych uniwersytetach. Podczas drugiej wojny światowej pływał w rejsach ćwiczebnych jako kadet, ale nie brał udziału w walkach. Akademię Marynarki Wojennej ukończył z tytułem licencjata z nauk ścisłych. Wybrał służbę na okrętach podwodnych, a w 1953 r. w stopniu porucznika przeszedł do cywila. Zmarł ojciec i Carter postanowił ratować rodzinną firmę.
Powrót do Georgii zbiegł się z orzeczeniem Sądu Najwyższego USA znoszącym segregację rasową w szkołach publicznych. Carterowie byli jedyną rodziną, która głosowała za udostępnieniem lokalnego kościoła Afroamerykanom. Ze strony sąsiadów spadły na nich szykany – miejscowy bank odmówił kredytu. Jimmy nie poddał się i zaczął myśleć o karierze politycznej. Kandydował do senatu Georgii. Pomogła mu żona. Rosalynn Smith, przyjaciółkę siostry, poznał podczas studiów.