词人此刻正与同事一道饮酒话别。在这闲暇之时，他的愁，依然是家国之愁、命运之愁。惟其如此，才令他感到“闲愁最苦”，才说道，不要去倚靠高楼，否则会看见斜阳坠落烟柳中，令人伤心断肠。
“梳洗罢，独倚望江楼。过尽千帆皆不是，斜晖脉脉水悠悠，肠断白苹洲”（唐温庭筠《望江南》）；“伫倚危楼风细细，望极春愁，黯黯生天际”（北宋柳永《蝶恋花》）……从这些词中，读者可以想见：靠着高楼，会看见一点点下坠的残阳、苍茫迷蒙的江水、轻烟笼罩的垂柳。这些都会令人伤悲。所以，辛弃疾说“休去倚危楼”，他害怕看到那落日残阳的光景，害怕由此想到江河日下的国家。他的哀愁，本就已经太多太多了
