吕浩死后，由其子吕良继任，吕良娶当地豪族黄氏女为妻，地位更加稳固，吕氏家族越发兴盛。
永寿元年155年，黄氏因怀胎十四月未曾生产，令家仆到郡郊白马寺求签问卜，方丈卜卦后大惊，不曾解释，只是急令吕氏家仆离去。
黄氏正在织布，闻听仆从回报，正疑惑间，忽见东南方天空有九色彩虹出现，光彩夺目，而后化为一只彩凤直扑而下，黄氏吃惊跌倒，腹痛难忍，旋即产一男婴于布上。
吕良闻之大喜，为儿子取名为“布”，又取字“凤仙”。
吕布三岁能骑羊，五岁能上马，七岁时便敢独自入林中狩猎，并捉拿野狐山鹿而归，九岁时随母拜见外公时，见羊群意外逃散，便徒步追赶，一手一只，往复数次，将羊群尽数捉回，外公大赞，赠予吕布一匹赤红大宛马，吕布甚喜，为其取名“红云”，悉心照料，几不离身。
年岁稍长后，不满其字“凤仙”，自行改为“奉先”。
至建宁元年166年，吕布十一岁时，身材已近普通成年男子，时值北匈奴再次入寇，吕良与南县军校尉丁原共同出兵抵御，吕布亦随军而行。
丁原为人桀骜，与诸多同僚下属皆不睦，所以几乎没有属下可以指挥，凡战便一马当先冲入敌阵，被评价为“虽有将勇，却无帅才”。
某日，丁原因追敌过于深入而被匈奴设伏团团围困，吕良率军欲救，然而匈奴势大又有地利，一时救之不得。
吕布观察战场后，向吕良讨要五百骑兵，请他率大军在前方诱敌，自己则绕远路攻击匈奴后军，阵斩匈奴大将，丁原之围遂解。
丁原十分感激，欲为吕布请赏封官，被吕良告知吕布年方十一时，震惊莫名。
至建宁五年170年，“第二次党锢之乱”结束后，灵帝开始逐步恢复皇室权威，但各地方近两年因为洛阳陷入混乱而致使政令不通，并造成了皇室威严下降，各地，尤其是边境转而启用一些传统的选拔手段，想要完全恢复绝非一朝一夕之事。
此时并州，与其他边境同样是文人少有，遍地的情况，稍有才学者，只需与官府文吏交谈数句，便能得到官职，而自持勇力者，则必须闯一闯官府设立的“武举”，能独占鳌头的话，才有希望在军中当个军头，否则，投军后就只能做个小兵。
这日，并州治所，太原郊外的校场被围观人群挤得水泄不通，周边诸多郡县武职长官都有到场观看，原因无他吕布今年十六，欲参加并州武举。
原本来说，以吕布数年扫贼抗胡之名，便是吕良在五原郡为他直接安排一个武职也无人会有微词，然而吕布至太原参与州举，便意味着他不愿仅仅在其父手下做事，或者说，他对于官职的志向还在吕良之上。
“吾乃五原吕布何人敢来与吾一战”身着短打，仅着轻盔的吕布跳上演武台，大声喝道“若无人能击败我，这武举第一便由我收入囊中了”
一众官吏闻之，面面相觑。
这武举有赛马、射箭等检验本身实力的诸多项目，那“技击擂台”反而不怎么重要，但此时吕布已经跳将上去，并发布了小视群豪的大言，以并州尚武好斗的民风，此时再阻止为时已晚。
“真是嚣张”“竟敢小瞧我等”“莫非你还能独自将我们全部打败不成”“就算你是吕布，说出这种话来也别想竖着离开了”
吕布的名声原本仅限于五原周边，即使其他郡县听说他很能打，也不会太过放在心上并州谁不能打听闻这等宣言，立刻纷纷鼓噪。
当下立刻有一名身着轻甲的武者跳上擂台“我乃上党”
啪未等他将话说完，吕布随意从旁边的兵器架上取下一柄木枪，信手一挥，枪尾甩出，抽在那上党无名氏身上，将他直直打飞出擂台。
因为是比试考较，官府准备的所有武器皆不曾开刃，钝器的分量也严重削减，但那上党某人被一棍抽飞后，仍然直接昏了过去，而后被校场医官抬走。