佛香阁始建于清乾隆时期，咸丰十年（即1860年）毁于英法联军，光绪时（1875一1908）在原址依样重建。关于颐和园佛香阁，也有传说故事：据说在乾隆皇帝建造佛香阁的时候，最初准备建塔而不是阁。那时候不叫颐和园，叫清漪园，是乾隆十五年，乾隆皇帝为其母庆祝六十大寿而建。当年乾隆下令改瓮山湖为昆明湖，在湖北岸兴建大报恩延寿寺，并寺后兴建一座九级的延寿塔。可是塔都已经盖到第八层了，施工队突然又接到命令，让把快兴建完成的延寿塔拆掉，改成阁，也就是后来的佛香阁。
这到底是为什么呢？说来就有些迷信色彩了：传说在修建清漪园的时候，施工过程中工人在瓮山下发现一个古墓，工人不敢妄动，请示皇帝。乾隆为母祝寿心切，下令把古墓挖开。可是大家一起动手，墓门始终挖不动。于是就有人说，这是一位明朝某王妃的墓，这王妃活着的时候就不是善茬儿，死后恐怕也不好惹，她的墓动不得！乾隆听到这个消息，有点儿不信邪，亲自到现场“督战”，并传令，如果挖不动就用炸药炸开。
终于古墓的大石门被打开了，就在这一瞬间，墓里吹出一阵阴风，直吹得飞沙走石，把在场的人吓得纷纷躲避。等风住尘消之后，人们再到现场一看，发现墓门里面刻着八个大字：“你不动我，我不动你！”乾隆皇帝吓出一身冷汗，赶忙命人把土都盖回去，并让施工的工人把快要建好的延寿塔拆掉，改成能够镇住不冥的鬼魂的佛香阁。
当然这是传说故事了，不过关于乾隆拆塔建阁，倒是确有其事，究其原因，当然与什么镇住冤魂无关。而是当初乾隆想在此处建一座标志性建筑，把三山五园连为一体，但是延寿塔建到第八层时，发现达不到理想效果。因为京西一带，本来塔就不少，其中还不乏年代久远的古塔。你再建一座九层宝塔，也不显得十分突出，反而因塔影重叠而被忽视，于是乾隆才下决心拆塔建阁。实践证明，这种“独树一帜”的行为确实收到了很好的效果， 到如今，提起西山的这个塔、那个塔，也许您不知道，但是提起佛香阁，恐怕无人不知！
