Penelitian arkeologi menunjukkan bahwa Jepang telah dihuni manusia purba setidaknya 600.000 tahun yang lalu, pada masa Paleolitik Bawah. Setelah beberapa zaman es yang terjadi pada masa jutaan tahun yang lalu, Jepang beberapa kali terhubung dengan daratan Asia melalui jembatan darat (dengan Sakhalin  di utara, dan kemungkinan Kyushu di selatan), sehingga memungkinkan perpindahan manusia, hewan, dan tanaman ke kepulauan  Jepang dari wilayah yang kini merupakan Republik Rakyat Cina dan Korea. Zaman Paleolitik Jepang menghasilkan peralatan bebatuan yang telah dipoles yang pertama di dunia, sekitar tahun 30.000 SM.

Dengan berakhirnya zaman es terakhir dan datangnya periode yang lebih hangat, kebudayaan Jomon muncul pada sekitar 11.000 SM, yang bercirikan gaya hidup pemburu-pengumpul semi-sedenter Mesolitik hingga Neolitik dan pembuatan kerajinan tembikar terawal di dunia. Diperkirakan bahwa penduduk Jomon merupakan nenek moyang suku Proto-Jepang dan suku Ainu masa kini.

Dimulainya periode Yayoi pada sekitar 300 SM menandai kehadiran teknologi-teknologi baru seperti bercocok tanam padi di sawah yang berpengairan dan teknik pembuatan perkakas dari besi dan perunggu yang dibawa serta migran-migran dari Cina atau Korea.

Dalam sejarah Cina, orang Jepang pertama kali disebut dalam naskah sejarah klasik, Buku Han yang ditulis tahun 111. Setelah periode Yayoi disebut periode Kofun pada sekitar tahun 250, yang bercirikan didirikannya negeri-negeri militer yang kuat. Menurut Catatan Sejarah Tiga Negara, negara paling berjaya di kepulauan Jepang waktu itu adalah Yamataikoku.