中尊寺的山号叫做关山。传说它是在嘉祥3年（850）由比睿山延历寺的慈觉大师圆仁创建的。圆仁是天台宗第三代座主，也是作为世界三大游记之一《入唐求法巡礼行记》的作者而闻名的一位高僧。

12世纪初，奥州藤原氏初代清衡进行了大规模的堂塔建设和完善。在寺堂规模方面，根据镰仓幕府的官方记录《吾妻镜》中的记载，「寺塔数量在40座以上，禅房（僧房、僧侣宿舍）在300间以上」。

清衡创建中尊寺的目的，是为了对11世纪后半期在东北地区的长期战乱（前九年战役和后三年战役）中亡故的人们不分敌我地进行祭奠，在被称为「陆奥」的边境和东北地区建设一片佛教净地（通过传扬佛教来实现的和平的理想社会）。


清衡在《中尊寺建立供养愿文》中将中尊寺描述为「诸佛摩顶之场」。只要身处于这个场（区域）内就好。假如进入中尊寺境内参拜，每个人都会被佛以手抚摸头顶，并赞叹道「啊，你来啦，你来啦」。「诸佛摩顶之场」就是表示可直接受到诸佛功德照拂的「神圣场所」的意思。

到了镰仓时代后，中尊寺日渐衰退，在建武4年（1337年）的火灾中，许多堂塔和宝物遗憾地被烧毁，不过现在仍保存了以国宝建筑物第一号金色堂为首的3,000多件国宝及重要文化财。这些国宝及重要文化财的一大特色是包括有漆工艺、木工艺、金属工艺、染织和书法等多种元素，中尊寺也因此被视为东日本首屈一指的佛教大宝库。