在“南阳城东，仁济桥西，温凉河畔”的医圣祠，便是张仲景的墓祠所在地。据《南阳县志》记载：“宛郡东高阜外……有仲景故宅，仁济桥西有仲景墓。”《医圣张仲景祠墓志》记载：“明嘉靖二十五年（公元1536年）儒医沈津、越夔等人士倡首，修建三皇庙，唐藩王撰文立石（石碑残存）。”明代《汉长沙太守医圣张仲景灵应碑》曰：“南阳城东仁济桥西有圣祖庙，十大名医中塑有仲景先生像”。

南阳医圣祠历史久远，民间传说在此地发现碑碣，立于晋；而有史可考的是《医圣张仲景祠墓志》的记载：“明嘉靖二十五年（公元1536年）……”距今也有400多年历史。“药王之庙遍寰宇，医圣之祠惟南阳有焉”。

医圣祠的诞生相传源于一个儒生的怪梦。明崇祯元年戊辰（1628年），兰阳廪生冯应鳌病染风寒，几乎不治。一日午夜，有一黄衣金冠神人，以手抚其全身，其“百节俱活”。他问：“生我者为谁？”神人自称南阳张仲景，墓冢在“南阳府东四里许”，“岁久湮没，荡为平地”，示意冯应鳌为自己重起墓冢。

冯应鳌病愈后不远千里赶赴南阳，在神人所说的地点见到一座庙宇，庙内十大名医像中有衣冠须眉如梦中见者，拭去尘灰一看果然是张仲景，但因在庙后求先生墓而不可得。4年后，园丁凿地掘井，获高二尺余一碑碣，上写“汉长沙太守医圣张仲景墓”（据推测，墓碑立于晋咸和五年也就是公元330年，距医圣卒年111年）。还发现碑碣下有石洞，因害怕将其封住。

清顺治十三年（1656年），南阳府丞张三异募捐建造医圣祠，规模平列于周昭天、汉王侯等王公侯位，享有同祀。当时，通过科举考试成为叶县训导的冯应鳌再次来宛，立石记述访墓始末，并重刻灵应碑。