1926年，巴中县知事田一夔，在阴灵山魁星楼岩壁书题刻凿了“灵应魁楼”4个大字（今存)，含有文魁、武魁显神灵之意。
清乾隆年间重建的魁星楼，共有6层，雄伟肃穆，檐牙高啄，屋脊用珠玉缀雕成滚龙飞凤，光彩夺目，有“摩天楼”之称。楼的东壁，嵌历代图书，西壁载先哲手迹，柱头撰刻镏金对联：“东壁图书府，西壁瀚墨林”，再上，泥塑文武魁星，文魁朱笔点斗，武魁挥剑降魔，神姿英武，栩栩如生，“文能安邦”、“武能定国”的8个大字，映衬得满堂金碧辉煌。
相传，建安三年，灵山脚下有个穷秀才，名叫张礼信，其父被劣绅冤害而死，母子相依为命。其母早出晚归，送子读书，望子成龙，为父报仇。张礼信效先贤“凿壁偷光”，“悬梁刺股”，学识渐渊后，便去魁楼，祈祷在秋试中榜上题名。许愿之后，卧楼而寝。梦中，一红衣人点头，一惊而醒，心中默喜。秋试结束，果然金榜夺魁，归家酬塑文魁金身，咏诗刻于魁星楼上：“紫雾凝成满天星，彩云笼处便生花，一天星斗晴光岫，北斗文章有一家”。见文魁手持羊毫，偶题诗道：“一支班笔千斤重，半副花笺百尺长，诗美俗情歌兰桂，文章清辉教孔曹。”以彰魁德。
时过经年，巴州守将李成溪野心勃勃，意在巴州独树一帜，便扮装农人，去至魁楼，祈求武魁指点、协助。当晚，夜宿大佛殿，梦见一木撑天，醒后辗转寻思，以为“神助我也！”天亮回营，欢喜若狂，将梦告诉幕宾，让其解释。幕宾思其多时，答曰：“吾帅之梦，非吉非凶，一木乃个‘末’字，凡是只宜安守，不可妄动。”李成溪默然。过两夜，复梦一牛二尾，又请幕宾解释，幕宾说：“一牛二尾是个‘失’字，老帅出师万万不然”，李成溪听了幕宾两次的解释，又反复耑测武魁暗示，番然悔悟，野心顿消，励勤治军，后升任遂宁参将。