据西华师范大学历史系教授、四川师范大学巴蜀文化研究中心学术委员蔡东洲说：“从乾隆到道光期间，严颜祠数次维修、扩建。严颜祠墓的毁坏同其修建一样有一个过程。”1933年，严公祠堂的戏楼厢房被改作民居。1950年，正殿内的“万年灯”被撤除。1951年，戏楼前面的双斗桅杆因街道扩展而被撤走。1955年，正殿被改作打米房，石像、墓碑被拆毁，冢墓被夷为平地。据说，墓移后露出一天井，井中有一特制油缸。油缸正对面就是墓室门，用石板封死。因担心内有“机关”而不敢开启，遂用土填平天井。《巴中县志》记载：1976年，因修粮站拆除庙宇，石像埋于地下，仅存墓碑。1980年公布为地级保护文物单位。
三、诗歌赞严颜
严颜将军高风亮节、宁死不屈的精神不但闪耀在巴中大地，其精神也被世人称许。历来赞许严颜的诗词不胜枚举。
有诗赞严颜曰：
白发居西蜀，清名震大邦。
忠心如皎月，浩气卷长江。
宁可断头死，安能屈膝降?
巴州年老将，天下更无双。
苏辙《严颜碑》：
古碑残缺不可读，远人爱惜未忍磨。
相传昔者严太守，刻石千岁字已讹。
严颜平生吾不记，独忆城破节最高。
被擒不辱古亦有，吾爱善折张飞豪。
军中生死何足怪，乘胜使气可若何。
斫头徐死子无怒，我岂畏死如儿曹!
匹夫受戮或不避，所重壮气吞黄河。
临危闲暇有如此，览碑慷慨思横戈。
1 2
[…] “汉史标名胜，巴城存墓丘。”迄今长达千余年历史的严公庙和严颜墓，是巴州在川北地区享有很高声誉的古文化遗存。蜀汉时严将军取汉昌（今巴州）、威镇汉昌，至今在巴州民间广为传诵。相传，严颜死后葬于巴州，墓冢至今在州城西门（墓地现已经不存在，在草坝街上新雕了一个雕像），墓前有“汉将军严颜”的大石碑。早在唐贞元年问，于墓后修建了严公庙（巴州区草坝街，那儿曾经有一个粮店，叫城西粮店，即严公庙）。当时，四时香火不绝。《通志》载，汉将军严颜墓，在城西门外，旧有庙在墓后。据《巴州志》载，北宋宣和四年，墓后庙已“栋宇倾坏，支以他木，上漏下湿，不避风雨”。宋民族英雄宗泽判巴州时复修。明建墓碑，高1.24米、宽0.65米、厚0.2米。清建殿（俗称严公庙）为木结构，面阔约24米，进深约10米，通高约8米，雕梁画栋，规模壮观，并雕有石像高3米余，神气威武。“文化大革命”中庙荡然无存，石像埋于地下，墓（九十年代初才拆除，现在“将军宾馆”的位置）被封土荡平。后将墓碑掘起，尚存完好，墓室未动。严公庙虽毁，但是严颜那“孤身欲断头”的威风凛凛的英雄气概，千百年来一直为人们敬仰，留下了“将军大节重如山，云让孤高松让寒。一曲巴江城下水，年年流照旧衣冠”的赞誉。 […]