La origine, ceea ce avea sa devina zen-ul japonez, a fost un curent budist indian numit Dhyāna, initiat de celebrul calugar Bodhidharma. In anul 520 d.Hr, Bodhidarma a calatorit in China, la Nanjing, unde a adus ceaiul si principalele idei ale acestei secte. Secta avea ca principiu fundamental ideea ca se poate ajunge la iluminare prin meditatie sau printr-o experienta spirituala numita sambodhi. In acest sens, toata literatura budista era ineficienta, iar venerarea unei divinitati nu mai era necesara pentru atingerea iluminarii.
Dupa moartea lui Bodhidarma, intre anii 675 si 712, secta isi desavarseste doctrina sintetizand gandirea indiana de la care a plecat. Astfel apare secta Chan, varianta chineza a Dhyānei, care spre deosebire de alte secte budiste este atee, refuzand sa recunoasca in Buddha o zeitate. Din China, budismul Chan s-a raspandit in secolele urmatoare in Coreea si Vietnam.
In Japonia, budismul Chan (in japoneza zen) a fost introdus in timpul perioadelor Kamakura (1185-1333) si Muromachi (1333-1573), venind din China dinastiilor Song si Yuan. El a fost introdus de catre calugarul Eisai (1141-1215), fondatorul sectei zeniste Rinzai, si de catre calugarul Dogen (1200-1253), fondatorul sectei zeniste Sōtō. Budismul Zen a reprezentat pentru japonezi momentul sincronizarii unei religii foarte putin inclinate spre reliogizitate. Zen-ul se potrivea, ca doctrina, clasei razboinicilor samurai aflata in ascensiune in perioada Kamakura.
Budismul Zen devenise religia favorita a clasei conducatoare japoneze, deoarece propavaduia acceptarea ordinii stabilite de conducator. De asemenea, Zen-ul a influentat foarte mult arta japoneza, atat cea laica cat si religioasa, a introdus ceremonia ceaiului si a sporit dezvoltarea artelor martiale.
Cu toate acestea Zen-ul nu avea un canon, si nici un alt fel de literatura decat acele culegeri de anecdote biografice ale maestrilor zenisti, deci o literatura deloc canonica. Dar, cu timpul au aparut culegeri de texte ce creau o mitologie in jurul maestrilor, istorisind faptele veridice sau inchipuite ilustrand o sintagma cu miez de intelepciune ca invatatura.
La sfarsitul perioadei Muromachi, budismul Zen capata o asemenea influenta si dezvoltare, incat devine religie de stat. Au fost construite foarte multe temple Zen, numite ankoku-ji, de la notiunea ankoku ce inseamna loc al pacii.
In secolul al XX-lea, Zen-ul a fost introdus in America si Europa, unde a adunat un numar insemnat de adepti.