乾隆二十三年接近完工时，突然奉旨停修，并拆去已建好的部分，将其改建成八面三层四重檐。鹹丰十年（1860） 英法联军入侵园内将其烧毁，光绪十七年（1891） 又在原址上依样重建，光绪二十年完工，用银七十八万余两。此建筑气势雄伟，巍峨庄严，为颐和园的象徵。佛香阁建在二十米高八方形石砌须弥座月台上，为八面三层四重檐攒尖顶，顶为黄琉璃绿剪边，高达四十米，每面均宽三间，每层都有廊并廊柱二十四根，以八根大铁梨木为擎天柱，下层为开口天花，并有一尊高约三米的泥质漆金佛立像。