明初朱元璋诏令药商汇集钧州，后山西药商联袂至禹，其中以太谷人较多，有“太谷帮”之称，太原、大同次之。当时挂名晋字、太字的商号，在城内药市随处可见。

清乾隆二十九年（1764年），山西药商紧邻会馆购地2.65公顷（39.7亩），扩大了会馆建筑规模。清道光二年（1822年）十一月，晋豫药商联合募集资金，建成山西会馆庙门、壁墙、环垣、道院、庖厨。清道光六年（1826年），理事柴统裕、翟允若、义和昌、柴隆兴、富有大、玉成贞、复泰公等联合集资重修关帝庙，新创山西会馆钟鼓楼，改建庙门、壁墙、环垣，金妆神像，整葺殿宇，重修道院、庖厨。正如清道光六年“重修关帝庙并会馆碑记”曰：“康熙中，城西北隅建有关帝庙，左厢会馆，其重修乃在乾隆年间，风雨剥蚀，渐就倾圮，于时对越，难肃观瞻，同事诸公，醵金而重成之。”

整个会馆建筑井然有序。雄伟的大殿屹立在正中，面向戏楼，殿壁全为砖石结构，整个大殿斗拱飞翅，四周出厦；殿顶覆以红、黄、绿三色筒状琉璃瓦，日射映照，彩釉争辉。大殿与卷棚连接，卷棚又称“拜殿”，是每年节日祭祀跪拜的地方。殿外建有平台，可容纳一、二百观众观赏戏楼演出。大殿西侧有陪殿，东西厢房排列整齐。平台前为一开阔地，能容纳千人集会。大殿正面，高大戏楼巍立，每年演戏数次，每次三天。戏楼后山门上有石刻“山西会馆”四字，门首上挂“山西省旅禹同乡会”招牌。

殿后至环垣为义葬地，名“泽及园”。凡晋籍人在禹身亡，均可在此暂厝。此处砖丘累累，偶尔还出现过陕籍人棺木，故又称“山陕会馆”。配院为四合院建筑，名曰“白云轩院”。院内种有苍松、梅竹，古朴典雅，上房北屋为迎宾、聚义谋事之地。

1944年，禹县沦陷，日军恐遭八路军袭击，在山西会馆建起内城据点。日军投降后，山西会馆一度为私立光复中学校址，后为禹州市第二高级中学校址。2000年12月27日凌晨，山西会馆药王殿被扒掉，剩下的配殿、东西厢房、戏楼、山门于2001年1月也被拆除，整个“山西会馆”荡然无存。