曹操任为琅邪相，又各任用吴敦等，割青、徐二州委任于臧霸。
当初曹操在兖州时，以徐翕、毛晖二人为将，兖州乱起，徐、毛二人皆叛，后来兖州之乱平定后，徐、毛亡命出逃投靠。
公元199年曹操命刘备起行往见，并命奉上二人首级，刘备所将所言告诉曹操，于是皆以徐、毛二人为郡守。
后来曹操与袁绍相拒，数以精兵投入青州，所以曹操不用顾念东方之事，能专心应付袁绍。
公元205年，曹操破袁谭于南皮，前往祝贺，便求遣子弟及诸将之父兄家属前往邺城。
当时东州扰攘不止，执正匡义，征暴伐虐，清定海岱，其功莫大，于是皆封列侯，因功拜为都亭侯，加威虏将军。
公元206年与于禁讨昌豨于东海，昌豨降，为于禁引用法令所诛。
公元207年与夏侯渊讨黄巾余贼徐和等，再算上前讨昌豨之功劳，迁为徐州刺史。
沛国人武周时为下邳令，臧霸敬异武周，常到其舍作客，后来武周部从事总詷不法，武周得其罪，被收监查究，却不嫌弃武周，反而更加亲善。
公元209年张辽围剿陈兰时，与于禁征讨梅成，因于禁中伪降计，梅成得以率其三千余与陈兰汇合于灊山。
于是被曹操调到皖，讨伐孙权大将韩当，使孙权不得前救陈兰，韩当派兵阻拦，双方在逢龙展开战斗，韩当另外派兵在夹石口迎击，均被击破，回军屯驻舒城。
孙权派遣了数万人的东吴援军乘船屯于舒口，分兵往救陈兰，但闻知臧霸军在舒城时，立即遁还。
引军乘夜追赶，将及天明，行百余里，向东吴军队前后夹击，东吴军队窘急不堪，不得上船，蹈水而逃者甚众。
于是，东吴的军队未能援助陈兰，于是张辽击灭陈兰，并获得假节。
公元213年，从讨孙权于濡须口，与张辽同为前锋，在行军过程中遭遇了持续的大雨，前锋大军先到江边，见江水上涨，敌船稍稍前进。
倘若霖雨、水涨形成洪灾，将会对于缺乏船只的军队非常不利，因此，张辽、臧霸的将士们都感到不安。
张辽意欲自作主张的撤军，坚持要执行曹操的命令，便劝止张辽，张辽接受了臧霸的建议，于是屯驻了下来。
等他们屯驻到了第二天，果然收到了曹操的撤军令，于是主动撤军，曹操对臧霸加以赞扬。
后来曹操破孙权江西营，获都督公孙阳，但是由于春雨延绵，江水上涨，曹操在濡须口与孙权相持一个月后，最终退兵，战后，被拜为扬威将军，假节。
公元217年，从讨孙权，先登入阵，再入巢湖，攻破居巢，后孙权徐详告降，曹操还师，便留与夏侯惇等屯居巢，公元219年据《魏略》记载，遣别军在洛。