Одной из древнейших в Японии является стоянка Ивадзуку, где найдены грубые рубилообразные орудия из галек и крупные ножевидные пластины, относящиеся к раннему неолиту или мезолиту. Здесь обнаружены могильники и множество стоянок. На ранних неолитических поселениях находят остродонные и "цилиндрические" сосуды, поверхность которых покрыта оттисками верёвочки, топоры, обсидиановые остроконечники, скребки, грузила и другие изделия из камня, скопления раковин морских моллюсков (это так называемая культура "кухонных куч"). Население в этот период занималось охотой и рыболовством, собирательством растительной пищи и морских моллюсков, жило в больших общинных землянках.
Находки глиняных женских статуэток свидетельствуют о характерном для эпохи материнского рода почитании женщин-прародительниц. Археологическая культура этого периода носит название "дзёмон" (по "верёвочному" орнаменту).
В позднем неолите появляются сосуды в виде ваз с узким горлом и носиком, как у чайников, с лощёной или окрашенной в красный цвет поверхностью; зачастую они украшались спиральным орнаментом. В торфяной стоянке Корекава сохранились сосуды и другие изделия из дерева (луки, мечи и кинжалы), покрытые местным красным и чёрным растительным лаком. Совершенствуются каменные орудия, появляются украшения из раковин и кости, нефрита и янтаря. К концу неолита территория Японских островов была сплошь заселена человеком.
Пережитки неолитической культуры существовали в стране вплоть до 4—3 вв. до н. э. К этому времени на островах появились пришельцы с материка (из Китая, Кореи), уже знакомые с металлом (бронза, затем железо). Они сеяли рис и бобовые, разводили домашних животных, в том числе лошадей. Сложившаяся под влиянием этих племён археологическая культура яёи (существовавшая с 3—2 вв. до н. э. по 3—5 в. н. э.) отмечена наземными постройками, в т. ч. сооружениями на сваях, а также посудой, изготовлявшейся на гончарном круге (форма и орнаментика её при этом упрощены). Погребения знати совершались в ящиках из каменных плит под курганами. В могилах находят бронзовые мечи и наконечники копий, китайские зеркала, драгоценные украшения из нефрита и яшмы.
В древних китайских летописях содержатся материалы, свидетельствующие о том, что в последних веках 1-го тысячелетия до н. э. на Японских островах жили отдельные племенные группы. В 3 в. н. э. образовался довольно крупный племенной союз – "государство царицы Химико", как его называют китайские источники. Из этого местного племенного союза вырос общеплеменной союз. В дальнейшем в результате разделения японского общества на классы возникло государство. Территорией, на которой оно первоначально складывалось, были главным образом южная часть острова Хонсю и северная часть острова Кюсю. Образование государства происходило в борьбе вождей племенных групп, обитавших в каждом из указанных районов, причём во 2-й половине 5 в. гегемония в общеплеменном союзе перешла к племенной группе Ямато (Ва). "История Сун" упоминает под 478 г. о послании от царя Ямато (по японским источникам это, по-видимому, Юряку), в котором он сообщает о покорении всех стран на востоке, юге и даже за морем (имелась в виду Мимана – японское владение в южной части Корейского полуострова с 4 в.). В этом послании очевидно, отражена заключительная фаза процесса объединения, подавляющей части племени в одном союзе.
Выступление на первый план племенной группы Ямато связано, видимо, с более быстрым развитием материальной культуры в этом районе. Специфические для неё погребальные памятники – курганы, состоят из квадратной и круглой в плане частей, соединённых вместе. Курганы князей и царей достигают в высоту 33 м. В курганах находят погребения воинов с пластинчатыми железными панцирями и шлемами, оружием (мечи, копья и стрелы с железными наконечниками), принадлежностями конского убора, многочисленными украшениями. Находки в погребениях свидетельствуют также о распространении железных земледельческих орудий (мотыги, лопаты, плуги).
Процесс формирования классового общества и государства в Японии усилился с 5 в. К этому времени изменились отношения между главами племенного союза – царями Ямато – и местными вождями, последние стали рассматриваться как представители центральной власти; изменились отношения между вождями-старейшинами и общинниками: вместо "приношений" – части охотничьей добычи и продукции домашнего ремесла – появляется оброк зерном (татикара) и продукцией ремесла (мицуги); появляется и рабочая повинность (этати) – обязанность производить строительные, ирригационные и осушительные работы. Это свидетельствует о зарождении элементов феодальных производственных отношений при наличии обширного слоя свободных общинников-земледельцев. Из общины выделяются "свои поля" (ата), собственные владения (миякэ, тадокоро) родовой знати. На их полях работают подневольные землепашцы (табэ) из числа обедневших общинников, попавших в зависимость от прежних родовых старейшин. По своему положению такие табэ были близки к рабам. От рабов, появившихся ранее и бывших только домашними слугами (яцуко), их отличало то, что они сохраняли своё имущество и их хозяин не мог их продать, отдать или убить. Ввиду этого многие историки называют их полурабами или полусвободными.
