于是二人在陉山上的子产庙结拜，共举大事。
新郑这里以前是春秋时郑国都城，战国时韩国也都于此，所以一直人文荟萃，便是郑象、周贵也慕前人故事，要在子产的陵庙前发誓，共同进退。
两人合兵后，人数有四百人。
周贵一方面找人南下去联络北上的泰山军，一方面利用自己在城内的关系，不断将部众送入新郑城内。
本来周贵还想给冲天大将军张冲写一封信的，但奈何他不识文，更不放心将如此重要的事找书生带笔。在他朴素的认知里，此辈皆不可信。所以他就只好找了一个口舌伶俐的心腹南下。
周贵的运气到底是有的，他的心腹南下没多久就被泰山军前锋将于禁的哨探给俘虏了。
当得知新郑城内有一伙人要反正，于禁忙令部将张达点选军中善走士千人，随此人火速北上，与城内反正的义军取得联系。
至于这伙人是不是汉军假扮当然有可能，但于禁相信以张达的能力，是能判断的。
当张达带着千人北上后，在陉山与还留在城外的周贵、郑象两人汇合。张达在了解了二人起事的原因，觉得二人还是可信的。
于是，八月二十日，泰山军张达部帅千人直接对新郑城发动进攻。新郑作为两朝之都，城池要比一般的县城要坚固得多。而且还有洧水作为城河，一般情况没有一万大军，想打下新郑那是不可能的。
但在城内周贵、郑象二人的内应帮助下，张达只帅千人就杀入洞开的新郑城。城内只有不到五百的县卒，哪受得了张达的千人众的兜杀，见城池守不住了，随即四散而逃。
而彼时城破之际，新郑令刘衡正在坐堂听取各县吏讲今年秋收的情况。突然就见城内的游侠周贵浑身鲜血的杀入县署，大惊，忙呵斥
“好大的狗胆，敢冲撞县署。来”
还未多少，周贵就已经砍翻在场的县吏，奔上堂前，一刀就将新郑令刘衡搠死，不仅如此，杀发性的周贵还杀入了后廊，将刘衡的妻妾都一并杀了。
张达入城后就攻打库房和武库，所以慢了周贵一步，此时见周贵在杀了新郑令后，还杀了其全家，就要训斥。
但周贵突然说了句
“不拿他一家尝命，那之前死在他手上的太平道徒岂不是白死”
张达一噎，再说不出后面的话。
最后，他只告诉周贵
“你现在还没入泰山军，军中的法度你不知道，所以没关系。但以后你要是还想入泰山军，就一定要知道，私自仇杀和公审杀的区别。同样是复仇，你要是私杀了，最后自己一定得搭进去的。”
谁知周贵一喜
“敢不从命。”
原来他从张达的语气中已经听出泰山军要收自己，那能不喜吗至于私杀不私杀，他又不是多滥杀的人，也就是和这新郑令有血仇，才做如此事罢了。
张达随后就开始安堵全城，但意外发生了。
当张达将新郑令悬尸示众的时候，越来越多的闾民不顾刀兵围了上来。他们群情激奋，甚至不少人看到刘衡的尸体还在啜泣。
越来越多的人推搡着泰山军兵，为首的军吏暗道不好，一定有他们不知道的情况，所以他立马将这里的情况汇报给张达。