一、二两句略写游金山寺之情形。“金山楼观何耽耽”，金山楼寺耽耽而立，突兀江中，“中泠南畔石盘沱”（《游金山寺》）者是也。“撞钟击鼓闻淮南”，写寺院晨钟暮鼓，其声远播淮南之地，此二句，总写金山形制规模之盛。金山言毕，笔锋转入与之对峙之焦山。“焦山何有有修竹，采薪汲水僧两三”，与金山之崇阁险石，洪钟大鼓相比，焦山仅有落落修竹，寂寂寺僧。“云霾浪打人迹绝，时有沙户祈春蚕”，沙田由江水冲积而成，肥沃非常，故有农户亦于其上经营农桑。焦山云霾在空，长浪逐空，拍岸击石，环境如此之劣，故而绝少人迹，偶有江上沙户，于此祈求春蚕无灾而已。关于焦山之险，苏辙有《和子瞻》诗，所言甚备。其云：“金山游遍人焦山，舟轻帆急须臾间。涉江已远风浪阔，游人到此皆争还。山头冉冉万竿竹，楼阁不见门长关。”同行诸人登览金山之后皆已回转行程，而诗人留宿金山而不访焦山，心下有惭，故决意独自前往。“赋命穷薄轻江潭”，诗人不惧江潭之险，只自独往，本是豪情所致，反言“赋命穷独”，云己身本贱，不足怜惜。其时诗人直言批评新法，遭毁非议，请求外任，因成此行。诗人深感仕途凶险，故有此一句。
“清晨无风浪自涌”，焦山之险若此，诗人却仅以此七字托出。虽则浪险如此，诗人反而“中流歌啸倚半酣”。舟至中流，正是浪急之所，诗人反而吟啸自若，倚楫半酣。至此，非有如是之豪情，即无以有“大江东去浪淘尽，千古风流人物”之苏词也。已而舟至焦山，诗人弃舟登岸，老僧惊而下山相迎：实是惊险之地，施主如何来此？惊罢即喜，而相与畅谈。此“老僧”，诗人自注“中江人也”，中江在四川，故此云僧作“巴人谈”。巴即蜀之代称。以下数语即是诗人记老僧所谈内容。老僧久客于此，乡井何方，已然相忘，惟有此青灯古寺相与为伴。“同龛”语出《法帖·褚遂良书》“久弃尘滓，与弥勒同龛”。困倦之时，就眠纸帐，亦感暖意；三餐若饱，食有山蔬亦甘。虽宿简食陋，亦是安之若素。山林之寺，忍饥而卧古亦有之，此虽无田，我亦能饱，故长居此地，并非我心存贪念，实是慕此山林雅趣，有心归隐所致。
末四句是诗人抒其决不弃直以从枉，屈身以事人之志。“展禽虽未三见黜，叔夜自知七不堪”二句用典。《论语》中记载展禽任士师时遭到“二三黜”，有人劝其离开鲁国另觅新君。他回答说：“直道而事人，焉往而不黜？枉道而事人，何必去父母之邦？展禽既已三次见黜，而诗人此云“虽未”，是以反其事而用，言下之意为：即便展禽未见黜罢，其正直光明之志亦未有丝毫相异罢。嵇康与山涛同为“竹林七贤”之一，因恶乱世而归隐不仕。后山涛依附司马氏得获高禄，欲举荐嵇康。嵇康因此作了闻名于世的《与山巨源绝交书》。其信中以戏谑之笔言其于官场有“必不堪者七”。诗人用此典亦明其归隐之意。
末二句即云：我愿谢却簪组，弃官而去。愿此焦山佳处，为我留庵以宿，然诗人终其一生，皆为民请命，直谏不止，故亦仕途艰辛，天地飘零。但其心存高远，出入儒释道之间，故于此浊世存真。全诗于纪游中多抒感慨，自然流利。