Na świat przyszedł 23 października 1885 r. w Kcyni, na Pałukach w północno-wschodniej Wielkopolsce, wówczas pod zaborem pruskim, jako ósme z dziesięciorga dzieci Franciszka Czochralskiego i Marty z Suchomskich. Rodzina mieszkała w parterowym domu z szyldem wypisanym po polsku i niemiecku: „Stolarnia budowli mebli. Skład gotowych trumien. Oprawa obrazów”, przy obecnej Szewskiej 25, w narożniku tzw. Koziego Rynku (dziś plac Czochralskiego). Ojciec był cenionym w okolicy stolarzem. W warsztacie Czochralskiego wykonano m.in. stylowe meble do biblioteki pałacu w Smogulcu nieopodal Kcyni, na zamówienie hr. Bogdana Hutten-Czapskiego, kuratora i doktora honoris causa Politechniki Warszawskiej (patrz POLITYKA 36/12, „Dobry pruski Polak”). Doktorem honorowym i profesorem tej samej uczelni został i syn kcyńskiego stolarza.
Ojciec chciał, by Jan został nauczycielem. Rodzinne opowieści mówią, że zdał nawet maturę w miejscowym Seminarium Nauczycielskim, ale świadectwo dojrzałości podarł w obecności swego profesora, mówiąc: „nigdy nie wydano bardziej krzywdzących ocen”. Inne przekazy mówią, że świadectwa nie odebrał. Nie widział siebie w roli belfra, a jego pasją była chemia. Jeszcze jako uczeń eksperymentował z chemikaliami z aptek i drogerii. W końcu decyduje się opuścić rodzinny dom, zapowiadając, że powróci do Kcyni, kiedy zostanie sławny i bogaty.
Karierę zaczyna od pracy jako pomocnik drogerzysty w Krotoszynie. W 1904 r. przenosi się do Berlina. Pracuje w aptekach, które wówczas, kiedy większość leków przygotowywano na miejscu, były dobrze wyposażonymi laboratoriami chemicznymi. Czochralski zajmuje się tam m.in. analizami rud, smarów i metali. Po dwóch latach zostaje analitykiem w przemysłowym laboratorium firmy Kunheim u. Co, a w 1907 r.