童贯因能征善战，而身价倍增。
慢慢的，童贯掌控起西北军政大权，然后开始侍功骄横，对西北军政将领官吏的选拔，完全撇开朝廷，绕过蔡京，直接奏明赵佶。
这既伤害了蔡京的自尊，也破坏了朝廷的制度，引起蔡京极大的不满，两人之间的关系开始出现裂痕。
大观三年五月，赵佶念及童贯在西北开边战功显赫，下诏授予童贯开府仪同三司——开府仪同三司，是一个显示皇恩和崇高社会地位的荣誉官衔。
对于这个诏命，蔡京坚决反对并且拒不执行，他忿忿而言：“童贯是一个宦官，让他担任节度使都有些过分，怎能再授予他使相呢？”
蔡京的强硬态度，让赵佶感到很恼怒。
皇权又一次遭到挑战。
童贯听说此事后也非常生气，他暗中秘密联络御史中丞石公弼、侍御史张克公等大臣，上朝弹劾蔡京，他又鼓动郭天信进宫对赵佶说：“太阳中出现了黑子，主在斥退大臣，否则不详。”
郭天信在太史局任职，赵佶任端王时，他曾预言过“王当有天下”，因此，赵佶对他的话比较信服。
赵佶又产生了罢相之意。
蔡京屡次进宫求见，均被赵佶拒之门外。
蔡京何等聪明，如何能不明白赵佶想罢免他？
于是，不久之后，蔡京上表主动请求辞去相位。
赵佶很快同意，让蔡京再次担任闲职中太乙宫使。
又过不久，赵佶进升蔡京为楚国公，令其致仕，仍提举编修《哲宗实录》，每月初一、十五上朝。
这是蔡京第二次罢相。
蔡京这第一、第二两次罢相虽然背景不同，但有一个共同点，即都是因为出现了“天变”。
古人认为，出现天变，就意味着朝政有缺失，作为总领朝政的宰相理应承担责任，要么直接罢免，要么引咎辞职。
其实，这只不过是朝廷政治斗争的一个借口罢了。
蔡京两次被罢相，本质原因是相同的，都是蔡京以相权冒犯了赵佶的皇权。
自宋神宗以来，北宋政坛已经形成了一切权利都属于皇帝的局面。
蔡京竟公然挑战这个局面，赵佶岂能容忍？
年轻时的赵佶，其实政治头脑很精明，他很善于运用政治手腕，他要牢牢掌控最终决策权，他想将大臣玩弄于股掌之中。
而第二次罢相之前的蔡京，所追寻的是这样一个理想局面，即相权与皇权共治天下。
这也是封建时代儒家知识分子的一贯梦想与追求。
然而，赵佶却不这样想，他认为，相权是为皇权服务的，相权不能对抗皇权，所以，他既要利用蔡京的才能为他自己服务，又要适时打击一下蔡京的气焰，给蔡京一点颜色瞧瞧。
而打击蔡京，实质上就是打击蔡京所掌控的相权，赵佶的目的是给满朝文武显示一下皇权至高无上的权威。
赵佶要让满朝文武明白：朕可以给你高官厚禄，也可以让你什么都不是，甚至身败名裂倾家荡产。
到了此时，蔡京终于明白，相权在皇帝眼里只是皇权的附庸，自己所要服务的对象不是大宋王朝，而是大宋皇帝赵佶。
这年蔡京已六十三岁。
这年冬天，蔡京正式办理了退休手续，他以为自己从此可以告别政坛了。
虽然已经下台，但因为对蔡京的忌惮，蔡京仍不断遭到政敌的攻击。
蔡京被迫离开东京，到杭州居住。
如果蔡京从此退出政坛，在杭州颐养天年，那么，蔡京或许就不会被明代《水浒传》塑造成一个奸臣形象，或许也不会被太学生陈东列为“六贼”之首成为北宋灭亡的替罪羊了。
可是，蔡京答应过赵佶，要尽死以报赵佶对他的知遇之恩。