Budowę Białego Domu rozpoczęto za prezydentury George’a Washingtona. On sam jednak był jedynym amerykańskim przywódcą, który nigdy tam nie zamieszkał. Gdy bowiem upłynęła jego kadencja, gmach wciąż stał jeszcze nieukończony.
W 1792 r. Thomas Jefferson (będący wówczas sekretarzem stanu) ogłosił konkurs na projekt rezydencji głowy państwa. Wygrał architekt irlandzkiego pochodzenia James Hoban. Jemu też powierzono nadzór nad realizacją całego przedsięwzięcia. 13 października 1792 r. wmurowano kamień węgielny. W porównaniu z siedzibami europejskich władców, rezydencja amerykańskiego prezydenta miała być raczej skromna. Washington nawet nakłonił Hobana do okrojenia pierwotnego projektu. Jednak jak na możliwości młodego amerykańskiego państwa inwestycja i tak była dość kosztowna. Kongres niezbyt chętnie przeznaczał na nią kolejne fundusze. Jeden z kongresmenów stwierdził wręcz, że prezydent powinien urzędować w wynajętych pomieszczeniach. Budowa jednak systematycznie posuwała się naprzód. 1 listopada 1800 r. większa część gmachu nie była jeszcze w pełni ukończona, mimo to prezydent John Adams zdecydował się tam wprowadzić, choć już po czterech miesiącach musiał przekazać Biały Dom nowemu prezydentowi Thomasowi Jeffersonowi.
W 1814 r., podczas wojny amerykańsko-angielskiej, do stolicy wtargnęły brytyjskie wojska i spaliły tam wiele budynków, w tym także Biały Dom. Aby przywrócić funkcjonalność prezydenckiej siedzibie, ponownie zwrócono się do Jamesa Hobana. Hoban przy okazji rozbudował ją, dodając po bokach tarasy oraz portyki z przodu i z tyłu.
Innego rodzaju najazd budynek ten przeżył 4 marca 1832 r.