然而到明清时，菊潭已是山菊敛迹，碧潭淤塞。明清两代，游览菊潭的文人骚客留下了一些诗篇，多为追念之作，如明嘉靖进士李蓘在其诗中说："我来寻胜地，不见一黄花。试问潭边姓，谁为寿者家。"

又如清代文人高佑釲（sì）在《内乡怀古四首》之第三首中说："牢落诗人托异乡，青莲还对孟襄阳。荒祠千载菊潭上，落日经过泪千行。" 均写出了当时菊潭、菊花山的荒凉情景。

千年胜景的菊花山，为什么灭迹呢？主要原因在于一次大自然的灾难所致。据《西峡县志》载："明世宗嘉靖七年( 1528)秋，宛西一带一连三个月大旱，民多饥死，人相食，至八年春尤甚。"这年宛西一连数月大旱无雨，以内乡最为严重，百草枯死，作物绝收。次年春天，大批灾民外逃，路断人稀，人们食不择物，竞出现了活人吃死人的现象。从此菊花山的菊花枯死，昔日胜地变成了一座荒山。据清•陈梦雷等《古今图书集成》载："甘菊出自内乡菊潭者佳，今无。山谷虽在，潭淤被毁。现仍存上寿洞，内有一水潭。"

菊花山的荒落，使人们为失去胜地而惋叹。值得欣喜的是，菊花山的菊花并未绝种。1972年中日建交后一次中国代表团访日，日方还特回赠河南 西峡菊花山原种 10株，被植于北京植物园。1989年日本一个五人访问团专程来到西峡提出要观看菊花山。当日由县政府主管外事的王武堂、方成陪同，看了菊花山山貌山系，在菊潭内饮了潭水。他们还带来了一个日本地方戏的录相片，放给王武堂、方成观看，片中讲的是日本友人喝了菊潭水长寿百岁的故事。日本客人久久留连忘返，感叹地说:"日本的菊花是从贵国菊花山引去的。"