その昔、松平定信が来遊したとき、ここからの眺望絶佳をたたえて「聚遠の門」とよんでからいつの頃か聚遠亭と名づけられました。
心字池（しんじいけ）上にある浮堂の茶室は安政年間城主脇坂安宅が京都所司代の職にあって御所が炎上したとき、その復興に功績があり孝明天皇から拝領したといい伝えられています。庭園池などと調和した書院造りを模した数奇屋風の建築です。隣は裏千家鵬雲斎千宗室家元に「楽庵（らくあん）」と命名された茶屋です。土・日曜日には、どなたでも利用できる茶席がもうけられます。