六十二岁辞官，侨居武林。归来后泉石优游，娱情翰墨，遂成《庸闲斋笔记》，先得八卷，后补写四卷，共十二卷，计十四万余言。本书内容相当丰富，俞樾《序言》也说："《庸闲斋笔记》一书，首述家门盛迹，先世轶事，次及游宦见闻，下逮诙谐游戏之类，斐然可观。"