最早的园主人为当地望族赵氏家族,园名为“因而园”。清代道光年间,赵氏渐衰,该园被转售给罗氏,园名也改称为“罗氏园”。光绪初年,“罗氏园”为
浙江一知县许威所有,又易园名为“颐园”。民国初年,许家败落。到了1937年,颐园又为金山人“南社”社员高君藩所得。颐园占地两亩多,北部布局以水、石取胜。有一清池,水质清冽,上架石桥。池
东北隅,绕以舫榭回廊。池之西岸有
黄石叠山,呈悬岸状,凌空于池。登山之巅,见石峰隐然,古木参天。沿石阶而下,进入约3米见方的一洞室。洞壁间有小孔,影影绰绰。出洞门,便进入一个庭院。左边有小斋,是读书处。右折东游便进入画舫之中。园南有楼台相望,下厅上室,是起居之处。南面之楼,小巧精致。相传此楼曾作演戏之所。楼上北廊10扇长窗,可随意装卸,卸去窗即成宽4米有余的台幕。此楼不演戏时,可作书房、卧室。