橘寺是圣徳太子兴建7个寺庙的其中之一，建于圣徳太子诞生之地。圣徳太子是个虔诚的佛教徒，在讲解佛典时独自加上批注的就是所谓的三经义疏。三经义疏是由《胜鬘经义疏》、《维摩经义疏》及《法华经义疏》组成


日本推古天皇14年(606年)7月，圣徳太子35岁，受推古天皇之命在此教受胜鬘经三日。这时莲花漂落于庭院积了1公尺高，圣徳太子的头冠也发出日月星的光茫(三光)。推古天皇惊吓，下令在此建寺，于是圣徳太子把离宫改为寺庙，命为橘树寺，俗称橘寺。

橘寺的兴建时期尚未确定，唯一知道《日本书纪》里记载着「天武天皇9年(681年)尼房失火烧了10房」。可见橘寺当初是尼寺。根据考古调査的结果，橘寺在8世纪时有66座堂塔，配置了四天王寺式伽蓝，可见当时规模宏大、殿宇巍峨。橘寺受到皇族和贵族的庇护因而繁栄，但是日本鎌仓时期以后逐渐衰退。

根据《日本书纪》的记载，田道间守受到垂仁天皇的圣旨出外寻找长生不老的药，10年后把种子带回来。但垂仁天皇已经驾崩，田道间守只好把带回来的种子种在此地。因为种子长出来的是橘子，所以此地便称为橘。