现在的崇善寺虽不及太原晋祠那样引人注目，但它在历史的进程中，却有着自己光辉灿烂的一页。
崇善寺，初建于唐，名白马寺，后改称延寿寺、宗善寺，后来又叫新寺。据记载，那是因为崇善寺是在原有旧寺的基础上大兴土木，重新修建的。崇善寺新寺的名称，从十四世纪初叶到二十世纪民国年间，一直沿用了几百年。
明洪武十五年（公元1382年），明太祖朱元璋的发妻孝慈高皇后马氏病逝。朱元璋第三子，即晋王朱（木冈），是马氏抚养成人的。为纪念母后，朱冈请求准建崇善寺。崇善寺的修建，从洪武十六年（公元1383年）动工，到洪武二十四年（公元1391年）建成，历时八载。
明代的崇善寺是完全按照标准的宫殿式建筑的格式修建的。中轴线上的金刚殿、天王殿、大雄殿、毗卢殿、大悲殿、金灵殿，由南往北一字排开。在各大殿的左、右，又整齐的排列着一系列的小院落。它们不仅对称，而且整齐划一。这种格局，与北京故宫中轴线上的主殿和东西六宫的布局极为相似。我们可以想象得到当年占地二百四十五亩的崇善寺，是多么的富丽堂皇，宏伟壮观。
当年的崇善寺不仅外表引人注目，更重要的是拥有其他寺庙不具备的条件，那就是它不仅是一座寺院，而且是朱家王朝的一座祖庙。中轴线上的最后一座大殿——金灵殿，就是一座没有帝座的祖庙。这在中国佛教寺院的修建中是罕见的。崇善寺既是佛教寺庙，又是皇家祖庙，因此，它享受着比一般寺庙更多的香火。在这种背景下，它渡过了自己旺盛、兴隆的时期。
幸免一毁的大悲殿，虽然在明成化和清嘉庆年间进行过修葺，但都是小修，大至梁架，小至门窗都未更换，基本上还是明代初修时的原物。因此具有更高的历史价值。
我们现在看到的崇善寺，只是原来寺庙的几十分之一，仅是六大主殿中的一座——大悲殿。崇善寺的其他宏伟建筑，于清代同治三年（公元1864年）的大火中全都化为了灰烬。
