绮园前为宅院,现存三乐堂等建筑。三乐堂为九开间二层楼,前后皆天井,在砖雕门斗上饰飞椽斗拱、隐堂匾额'竹苞松茂'等。所谓'三乐',为'仰无愧于天,俯无愧于人,一乐也;父母兄弟俱在,二乐也;聚天下英才而教育之,此三乐也。'陈从周教授为三乐堂题额。
园内以树木山池为主,古木参天,布局精美,错落有致。水随山转,山因水活,各得其宜。进园为一座四面轩敞的花厅'树百堂'。厅前一湾流水。绕厅围山东流,穿洞至山后大池,厅前池上架有曲桥,与隔水相望的堤岸、假山相映成趣,厅后障以小山,山上怪石嶙峋。山后池水明澈如镜,池东岸有'醉吟亭';西北有'临波水榭',过虹桥沿堤向北,路随山转,古藤匍匐,竹径蹬道,盘旋而上,山顶有'小隐亭',为全园最高点。
2001年,绮园被国务院批准列入全国重点文物保护单位。