此词起首二句忆旧游：“与鸥为客，绿野留吟屐。”上言作鸥鸟的朋友，下言此处园林曾留下自己的足迹。姜夔曾以“冷鸥轻燕”寄托自己的归隐之思，鸥鸟作为姜夔笔下经常出现的鸟类意象，它们所体现的绝不仅是归隐之思。透过鸥鸟的意象，可以体味出作者内心的多种情怀：欲隐无路之悲，怀人相思之苦，世事无常之叹。这里“绿野”代指钱氏园林。次二句点明此处园林风光出自钱良臣的手泽。“两行柳垂阴，是当日、仙翁手植。”“垂阴”连系“绿野”，形容风光清雅。“仙翁”指钱良臣，表明此宅来历，绾合词题。以下写园内风光：“一亭寂寞，烟外带愁横。荷苒苒，展凉云，横卧虹千尺。”“带愁”“寂寞”云云景中含情。
换头转入抒情。“才因老尽，秀句君休觅。”自叹年事日增，诗思减退，不必强求佳句，暗用江郎才尽故事，并与开头“吟屐”联串。“万绿正迷人，更愁入、山阳夜笛。”词意继续翻进，由叹老引发怀友。“万绿”迷人，易触发对培植绿色的“仙翁”的追念，更加听到凄切的“夜笛”之声，则缅忆之情力透纸背。接着推进一步，写思旧心绪深沉：“百年心事，惟有玉阑知。”上句包蕴丰厚，可以是宇宙、人生、今昔、存亡。下句“玉阑知”既形象又含蓄，见出白石凭栏默想，久久沉吟。收尾以记述返程归结。“吟未了，放船回，月下空相忆。”“月下”呼应题面，“空想忆”，思绪绵绵，言已尽而意无尽。
全篇上阕侧重纪游，下阕侧重抒感，在写景纪游笔墨中贯注着怀旧忆友之思。词为咏物词，然作者将身世之感融入所咏之物，家国之慨隐然寓于其中。