首句起势弘远。诗人登上向吴亭，极目东望，茫茫千里，一片清秋景色，给人一种极恍惚无际的感觉。诗人的万端思绪，便由登览而触引，大有纷至沓来之势。诗从眼前的景色写起，再一笔宕开，思忆起昔年游览的情形。“放歌”二字可见当年酣舞狂歌的赏心乐事，如今旧地重游，正逢惹愁的爽秋季节，神往之中隐含着往事不再的悲凉。一景一情，写诗人初上亭来的所见、所感，并点出时间、地点、事由。

颔联没有续写昔年游览的光景，而是以不尽尽之，把思路从昔年拉回到眼前，承首句写诗人下亭游览时所见的景物。润州系东晋、南朝时的重镇，也是当时士人们嬉游的繁华都会。“青苔”二句，一写先朝遗寺的荒凉清冷，一写河边酒楼盛景依然，对仗工整。从写法上看，本来是寺里长满青苔，桥下荡漾绿水，诗人却故意颠倒语序，把鲜明的色彩放在句头，突出一衰一盛的对比，形象地反映了润州一带风物人情的沧桑变迁，这就为下一联抒发思古之情创造了条件。

颈联再转，让思路从眼前出发，漫游时空，飞跃到前代。诗人由眼前的遗寺想到东晋、南朝，又由酒楼想到曾在这里嬉游过的先朝士人，巧妙地借先朝士人的生活情事而感慨。东晋、南朝的士人，旷达风流曾为一时美谈，可是他们在历史的舞台上都不过是匆匆过客，只留下虚名为后人所倾羡。中间两联由览物而思古，充满着物在人空的无限哀惋之情。

诗人似乎长时间地沉浸在遐想中，直到日落月出，江面传来一声愁笛，才把他从沉思中唤醒。诗用“月明”表明时间的推移，以见沉思之久。“更想”的“更”字，则有无限低徊往复多情之意。然而这一联的佳处，更在其意境的深远。秋夜月明，清冷凄迷，忽然传来《出塞》曲的悲怨笛声，又给诗增添了一层苍凉哀怨的气氛。诗人由笛声而更想到东晋“尽一时之妙，为江左第一”的吹笛好手桓伊，他要借桓伊的笛声来传达心中的无限哀愁。丰富的想象，把时隔数百载的人事联系起来，使历史与现实，今人与古人，眼前的景物与心中的情事，在时空上融为一体。因此，诗虽将无穷思绪以一“愁”字了结，却给人以跌宕回环、悠悠不已之感。 这首诗所抒发的，不过是封建知识分子因不得志所产生的人生无常虚幻的悲叹，但在艺术上独具特色。诗忽而往古，忽而现在，忽而为一己哀愁，忽而为千古情事，忽而熔二者于一炉；挥洒自如，放纵不羁，在时空上和感情的表达上跳跃性极大。前人评杜牧的诗“气俊思活”，于此可见一斑。