A régészeti kutatások alapján az első emberek az őskőkorban telepedtek le a japán szigetvilágban, i. e. 30 000 körül. Az i. e. 14 évezredben elterjedt a félig-letelepedett, vadászó-gyűjtögető életmód, az emberek (feltehetőleg ainuk) elkezdtek földműveléssel és állattenyésztéssel foglalkozni. Az ebből az időszakból fennmaradt díszes mintázatú agyagedények a fazekasság legősibb darabjai közé tartoznak az egész világon.

A Yayoi-korszakban, az i. e. 3. század körül jelent meg Japánban először a rizstermesztés és a fazekasság új formája, valamint a kohászat, amelyet kínai és koreai bevándorlók hoztak magukkal. Ebben a korban kezdődött a mezőgazdaság rohamos fejlődése is.

Az első írásos említés a japánokról a kínai Han könyvében szerepel. Koreai feljegyzések alapján a 3. században a japán szigetvilág legerősebb királysága a Yamataikoku volt.

A 6. században a koreai Paekche királyság követetek küldött Japánba a buddhizmus terjesztésére. A kezdeti ellenállás dacára a buddhizmus a vezető réteg vallása lett és az Asuka-korszakra rendkívül elterjedt.

A Nara-korszak a 8. században elhozta az első egységes kormányzás megszilárdulását. Központja az akkori császári székhely, Heijokyo (a mai Nara) volt. Japán fokozatosan átvette a kínai adminisztrációs rendszert. Jó kapcsolatokat ápolt a koreai Silla királysággal és a kínai Tang-dinasztiával. Ekkortájt jelentek meg az irodalom első írott alkotásai, például olyan krónikák, mint a Kojiki és a Nihongi. Ezek a könyvek legendákkal magyarázzák Japán születését. A leírtak alapján az országot Jimmu, az első császár, Amaterasu sintó napistennő leszármazottja alapította i. e. 660 február 11-én.

784-től tíz éven keresztül, Kammu császársága idején az uralkodó székhelye Nagaokakyoban volt. Ezután a fővárost ismét átköltöztették, ezúttal Heiankyoba (a mai Kyoto), ami a császárok székhelye maradt több mint ezer évig. A városról kapta nevét a Heian-korszak. Bár a császár uralkodhatott, az igazi hatalom a Fujivara család kezében volt. A császári udvar ennek ellenére fénykorát élte, kialakult a sajátos japán irodalom, költészet és művészet. Ebben a korban írta meg Murasaki Shikibu a Genji regényét, amely feltehetőleg a világ legrégebbi regénye. Ekkor született a mai Japán himnusza, a Kimi ga yo szövege is.

Japán feudális korszakát egy új uralkodó harcos osztály, a szamuráj réteg kialakulása jellemezte. Minamoto no Yoritomot 1185-ben shogunná nevezték ki, miután legyőzte a szintén szamurájokból álló Taira klánt. Székhelyét Kamakurába helyezte. Yoritomo halála után a Hojo klán tagjai lettek a shogunok régensei. A Kamakura-korszakban kezdett terjedni a szamurájok körében a Kínából behozott zen buddhizmus. A 13. században Japánt kétszer is mongolok támadták meg, de pusztító viharok miatt nem jártak sikerrel. Ezeket a viharokat a japánok isteni segítségnek hitték és kamikazének („isteni szél”) nevezték el. 1333-ban Go-Daigo császár Kemmu restaurációja végett vetett a Kamakura-shogunátusnak, de a császár terve, hogy visszaaállítsa az uralkodó régi hatalmát, nem valósult meg. Három évvel később Ashikaga Takauji megfosztotta a tróntól Go-Daigót. A rákövetkező Ashikaga-shogunátus nem tudta irányítani az ország több tucatnyi feudális hadurát, a daimyokat. 1467-ben kitört a polgárháború és kezdetét vette a hadakozó fejedelemségek kora, a Sengoku-korszak.

A 16. században Portugáliából jezsuita misszionáriusok és kereskedők érkeztek Japánba. A japánok nanbanoknak („déli barbár”) nevezték őket. Megindult a kereskedelem Japán és a nyugat között.

Oda Nobunaga a 16. század második felében számos daimyo területét hódította meg Európából beszerzett fegyverekkel, de mielőtt egyesíthette volna az egész országot, 1582-ban merénylet áldozata lett. Nobunagát hű támogatója, Toyotomi Hideyoshi követte, aki 1590-ben végül egyesítette Japánt. Hideyoshi kétszer is megszállta Koreát, de számos koreaiaktól és Ming-dinasztiabeli kínaiaktól elszenvedett vereség majd Hideyoshi halála miatt 1598-ban a japánok elhagyták Koreát.

Az élet legtöbb területét korlátozták. Ennek ellenére a belföldi kereskedelem virágzott, megnőtt a mezőgazdasági termelés, fejlődtek a városok. Szentélyeket, templomokat, kastélyokat és erődöket építettek. Fellendült a kulturális élet is, terjedt az irodalom, a filozófia, a kabuki színjátszás és az ukiyo-e fametszetek készítése. A 18. századtól a fejlődésnek azonban gátat vetettek a magas adók, az évenkénti természeti katasztrófák és az éhínségek, emellett a kormányzat pénzügyi helyzete is romlott.

Az elszigeteltségnek 1854-ben szakadt vége, amikor Matthew C. Perry sorhajókapitány vezetésével amerikai hadihajók érkeztek Japánba. A megköttetett kanagawai egyezmény értelmében az ország megnyitotta kapuit a világ előtt. Több hasonló, Japán számára kedvezőtlen szerződés a nyugati hatalmakkal gazdasági és politikai válságot eredményezett. 1867-ben a shogun a császár javára lemondott hatalmáról, ám ezt nem mindenki fogadta el. Kitört a polgárháború, amely végül végérvényesen megbuktatta a sógunátust. Meiji császár reformjaival egy központosított államot hozott létre és visszaállította az uralkodói ház hatalmát és tekintélyét. Japán átvette a nyugat politikai, igazságszolgáltatási és katonai rendszerét. Az elmaradott, feudális országból rövid idő alatt iparosodott nagyhatalom lett. Hogy fedezze szükségleteit, háborúkat indított a szomszédos területek megszerzésére. Az első kínai–japán háború és az orosz–japán háború győzelmei után Japánhoz csatolták Tajvant, Koreát és Szahalin déli részét.

Még 1937-ben Japán elfoglalta Kína újabb részét, ami miatt az Egyesült Államok olajembargót léptetett érvénybe a birodalommal szemben.1941. december 7-én Japán megtámadta megtámadták a Pearl Harbor-i amerikai haditengerészeti támaszpontot, valamint hadat üzent az Egyesült Államok és Nagy-Britanniának. Ez az esemény volt az oka, hogy az Egyesült Államok belépett a második világháborúba. Miután 1945-ben Hiroshimát és Nagasakit amerikai atombomba pusztította el, ezenfelül a Szovjetunió is megtámadta Japánt, augusztus 15-én az ország kapitulált.

A háború Japánban és a csendes-óceáni régió többi országában emberéletek millióit követelte. Az ipar és az infrastruktúra romokban hevert. A szövetségesek több millió japánt telepítettek vissza a fő szigetekre. A tokyoi perben ítéletet mondtak a japán hadvezetés nagy része felett, bár az emberkísérleteket végző biológiai kutatóegység és császári család tagjai a vádak alól mentességet kaptak.

1947-ben Japán új, pacifista alkotmányt fogadott el. A szövetséges megszállás hivatalosan a San Francisco-i egyezmény életbelépéséig, 1952-ig tartott. Négy év múlva az ország beléphetett az Egyesült Nemzetek Szervezetébe. Több évtizeden keresztül Japán hihetetlen gazdasági növekedést tudott produkálni, aminek köszönhetően a világ második legnagyobb gazdasági hatalmává vált. Az 1990-es évekre a feljődés megtorpant, a gazdaság súlyos válságba zuhant, a javulás első jelei pedig csak a 21. század elején mutatkoztak