中日两国文献典籍的交流历史，最早可以追溯到公元前二、三世纪，当时是伴随着人种交流进行的。传说早在秦代时，方士徐福（市）就曾率领三千童男童女以及百工等东渡日本列岛并带去了不少典籍。对此，宋代著名文学家欧阳修在《日本刀歌》中曾作了如下描述：“传闻其岛居大国，土壤沃饶风俗好。其先徐福诈秦民，采药淹留（提手边加个为）童老。……徐福行时书未焚，逸书百篇今尚存。令严不许传中国，举世无人识古文。先正大典藏夷陌，苍波浩荡无通津。……”（欧阳修：《欧阳文忠公集》卷十五，《日本刀歌》）这首诗可以说是中国文献典籍早期传入日本的记录和历史的回顾。可是这只是一种传闻，并不见于正史记载。

在徐福之后，据传在公元284年（日本应神天皇十五年），位于朝鲜半岛南端的百济使者阿直岐到达日本，由于他的推荐，百济博士王仁于次年到达日本，为皇子菟道稚郎子之师，并“贡上《论语》十卷，《千字文》一卷，共十一卷”从这一记载中可以得知，在公元三世纪时，中国的典籍已传入了日本。到了公元7世纪初（即隋未唐初之际），有更多的中国文献典籍东传到了日本。这可从公元604年（日本推古天皇十二年），圣德太子制定的《十七条宪法》中的许多遣词造句，直接引用中国经典，得到证明。其次，日本奈良时期所制定的各种法律律令中也经常引用中国典籍的内容。例如在公元718年（日本元正天皇养老二年）制定的《养老律》和《养老令》中，除大量引用中国典籍外，亦按中国唐代国子监、太学一样，有把儒家经典分为“正经”和“旁经”的规定，将其分为“大经”（《礼》、《左氏春秋》）、“中经”（《诗经》、《周礼》和《仪礼》）和“小经”（《易》、《尚书》）三类。此外当时日本学者都兼学《论辩》和《孝经》等中国经典。这充分说明在日本飞鸟、奈良时代，中国文献典籍已在东瀛广为流传。

与此同时在日本政府中还专门成立了汉籍的抄录、誊写机构—“写经所”。在这里由“写经生”专门抄写汉籍，以便于其广为流传，至今有的抄本还完好地保存着。