明成化年间，王阳明父亲王华在绍兴营建府第“龙山里第”。明正德十六年，王阳明因平定宁王朱宸濠之乱有功被封为“新建伯” ，并开始在龙山里第基础上增建“新建伯府第”，民间俗称其为伯府。明代住宅有严格的等级限制，“新建伯”是除皇亲国戚外的最高等级，伯府因此也成为阳明故居中规模和等级最高的一组建筑，可惜1924年因失火而损毁，仅留大埠头、牌坊残基、碧霞池、石库门、饮酒亭、观象台等遗迹。