南唐后主李煜求和遭拒，最终被潘美和大将军曹彬平定。赵匡胤去世后，赵光义成为了宋朝的第二位皇帝。他命潘美辅佐大将党进攻打北汉。
潘美在979年攻取了北汉的都城太原，平定了北汉，北汉皇帝刘继元归顺了宋朝。也正是此战，杨家将的开山人物杨业在刘继元的劝说下，终于向北宋归顺，与潘美展开了完美的合作。
980年，北方辽国以10万大军向雁门关扑面而来。潘美奉命抵御，并让杨业率领一小队骑兵绕到辽军后方，因此对敌军形成了夹击之势，最终大败辽军，斩杀了对方大将。
潘美被封为代国公。如此看来，潘美的确是战功赫赫，并且与杨业之间不仅素无恩怨，而且还有着非常不错的配合。可他为什么会被黑成无恶不作的奸臣呢？
这就要说到与辽国的另一场战役了。
986年，宋太宗决定北伐辽国，兵分三路，收复燕云十六州。潘美和杨业以及曹彬等人分别领军。作为监军的王侁虽然没有潘美的官位高，但却代表着皇权，监管各军。
结果曹彬被辽军大败，潘美和杨业虽然已经收复了四州，但也不能孤军深入，只好撤军于朔州。
可是杨业和王侁在探讨如何将四州百姓撤走时，杨业的方案被王侁否定，并被污蔑成了懦弱之辈，另有他心。
杨业为了表示对大宋的忠心，决定亲自带兵袭击辽军，并让王侁和潘美在陈家谷口设下埋伏，待其将敌人引至这里便开始伏击。结果王侁等待多时都未见杨业，错判战情，撤军离开了陈家谷口。
杨业到达时不见兵卒，只能拼死奋战，最终被俘虏，绝食而亡。
当时潘美是反对王侁撤兵的，也曾进行过劝阻，只是碍于王侁代表着皇权，纵然官职高于王侁，但也得听其命令，只能随之撤退。
杨业作为宋太宗的爱将，得知其死讯后，宋太宗即悲痛又气愤。随即把王侁罢官流放，潘美降职三级。
在他被降级之后的一年时间里，虽然有过三次升迁，但没过多久便与世长辞，终年67岁。这里便能看出潘美在此次事件中并不负有重要责任。
到了明代，民间却把杨家将的故事编写成了《杨家府演义》。
在这部小说中，杨家将喋血沙场，舍身报国，可谓是宋朝的顶梁柱。而故事中为了衬托出杨家将的忠义形象，便塑造了一位名叫潘仁美的奸臣。
此人用尽阴险的手段迫害杨家，简直可恨到了极点。作者可能是为了蹭流量，把奸臣潘仁美的名字设计得与潘美相似。
所以潘美就被民间定义成了潘仁美那样的形象。再加上小说演绎以及影视作品的传播比真实的历史更为广泛，所以大多数人会把潘美当成奸贼之中的标杆人物。
通过正史与小说对比，两潘之间的形象是截然不同，甚至可以说除了名字之外没有任何关联，完全是《杨家府演义》的作者通过杨业事件激发灵感而想象出来的剧情。以至于潘美被黑化了如此之久。
——“潘美还好，潘仁美才是最惨的，被人黑了多少年了，实际上根本没有这个人。”
——“没有吗，我还以为有呢，故事信誓旦旦的。”
——“古代故事不都那样么，不写的真实点，也没人看啊。”</p>