首联记事。“一挂吴帆”是说自水路前去吴地，“不计程”是无法计算路程，极言自乡至吴水路的遥远；下句承接上句，从船只多次的停泊与开行再写行舟之久。两个“几回”，见水路行程的单调与乏味，又与上句“不计程”相照应。虽不言“忆”，而“忆”意隐含其中。
颔联写景，这是一联工整的对偶句。上句写天空，下句写江面。江南秋色本是迷人，更何况此次又是江行。然而映入诗人眼帘的却不是“楚天千里”的一片“清秋”，而是“天寒”“云冻”“江阔”“浪生”。“天寒”二字固然有诗人自己的感觉在内，“云”之能“冻”更是经过诗人感情滤化了的景物，表现了天色的阴霾、沉重。然而诗人还叙述，此刻天空是“有日”的，“有日”则云不应“冻”，但“云犹冻”，可见日色的晦暝，更增加了惨淡的气氛。再看江面，“江阔”本给人以显豁之感，再加“无风”，则更应是坦途，但“浪自生”显出了水势的汹涌。这一联描绘景色确切；“有日”“无风”，一有一无，都能宕开一步。虽是景语，但也表现了诗人离乡远行时那黯淡、凄凉的心境。
颈联也是以工整的对偶写景。上句从“家山”之变为“数点”，可见诗人自登舟离家的那一刻起，就凝望着越来越远去的故乡；从“常在眼”三字，可以想见当这“数点”“家山”从视线中消失之际，它的形象却时时浮现在诗人眼前。上句浸透了诗人难以排遣的乡思乡愁。下句的“寒雁”与颔联的“天寒”相照应，点明时值深秋。凄冷萧瑟的秋天本来容易使人产生思乡之情，更何况此时大雁又正飞向诗人离别了的家乡，长空一声雁叫自然会牵动诗人满怀的愁情。这一联中的“数点家山”与空中“寒雁”本是一幅淡远迷蒙的水墨画，一声雁叫又为这画幅增添了凄冷的气氛。颔联、颈联同属写景，但前一联写的是自然界之大景，情隐含于景中；后一联写的却是与诗人关系更为密切的远景，情与景结合更为紧密，抒情性也更为明显。
尾联转入叙事。船工在行舟时捕得鲤鱼是很平常的事，诗歌的妙处在于诗人在“鲤”前加了“南来”二字，鱼是从家乡来的，然后借用这习见的事，通过《汉乐府·饮马长城窟行》中“呼儿烹鲤鱼，中有尺素书”的典故，抒发盼望家书的急切心情。事借得巧，典故用得巧，表达了深沉的抒情意味。
从表面看，这首七律以“行舟”为线索，全诗四联围绕行舟分写行程之远、江行之险、家山寒雁、烹鱼取书；而究其内在的含义，忆兄弟、思故乡的情愫才是贯串全诗的一条主线，无论记事、写景、用典，其中包含的抒情成分是一层深似一层的。因此，除诗题而外，全诗无一字写及手足情，而手足之情甚浓；无一句明叙家乡恋，而家乡之恋自深。[4]
名家点评
当代古典文学家金性尧《宋诗三百首》：船老大得到一条鲤鱼，作者想起古诗里面的两句诗，唯恐其中有书信，赶快叫船老大剖开。亦明知是一种空想，但思家忆弟之情却表现得极为真率。辞尽而意未尽，全诗心裁即出此两句中。