本来一个人在遭受了重大的挫伤打击之后，一般总要寻找一个自我慰藉的方法，才可以勉强活下去。秦观以佛学自遣，这种用心，自可想见。
谁知被别有用心的人，以“谒告写佛书”构成了他的罪名，不仅把他贬谪到更远的郴州，而且还削去了他过去所有的官秩，这一次的贬削，无疑的对秦观造成了更深重的一次打击。因为前次的贬谪处州，是为了党籍及修神宗实录而迁贬，其获罪之名全出于政党之争，这种迁贬，犹复可说。至于这一次贬削，却是为了“谒告写佛书”的罪名。所谓“谒告”，本是宋代对于因事或因病“告假”的一个别称。一个人在因病请假的日子写写佛经，这有什么罪名可言，而竟被有心人罗织，落到迁贬削秩的下场，秦观内心的绝望悲苦，必然更会结合有不少屈抑之情，其易感之心，更易摧伤。就在贬到郴州的第二年春天，他写下了脍炙人口的《踏莎行·雾失楼台》。据秦观年谱，他在写了这首《踏莎行》词的第二年，又自郴州被迁贬到横州，又次年，又被贬到雷州。
他曾在雷州写了一篇《自作挽词》：
婴衅徙穷荒，茹哀与世辞。
官来录我橐，吏来验我尸。
藤束木皮棺，槁葬路傍陂。
家乡在万里，妻子天一涯。
孤魂不敢归，惴惴犹在兹。
昔忝柱下史，通籍黄金闺。
奇祸一朝作，飘零至於斯。
弱孤未堪事，返骨定何时。
修途缭山海，岂免从闍维。
荼毒复荼毒，彼苍那得知。
岁冕瘴江急，鸟兽鸣声悲。
空蒙寒雨零，惨淡阴风吹。