段祺瑞是民国初年的风云人物，号称“北洋之虎”，皖系军阀的首领，有着“三造共和”的美誉。在皖系军阀中，还有一位姓段的重要人物，此人正是“民国第一皮条客”段芝贵。为了对两人有所区别，当时的人们都称段祺瑞为“老段”，段芝贵为“小段”，因为两人年纪相差不大，所以有了“老段不老，小段不小”的说法，早年间流传较广的说两人是叔侄关系。不过，根据最新发现的湖北英山流传下来的《段氏宗谱》，他们家的辈分排名是“光、昭、大、茂、昌”。段芝贵的辈分是“光”，而段祺瑞的辈分是“大”，段芝贵要比段祺瑞大了两个辈分，也就是说，从家族辈分上算，他们应该是爷孙关系。
在众多记载中，段芝贵一生追名逐利，为了攀龙附凤，经常用美人计取悦上司。广为流传的有两段轶事。
1907年，载振在前往东三省路过天津时，坤伶杨翠喜吸引了他的目光，想要把她纳为妾室，却遭到拒绝。作为随员的段芝贵听说这件事，就利用手中权力威逼利诱杨的父亲和哥哥，给了一万两银子作为赎身费。当晚就把杨送去了载振府中。载振非常高兴，便请求父亲庆亲王奕劻能对他破格提拔，很快，段芝贵就当上黑龙江巡抚，成了封疆大吏。只可惜，这件事传到了慈禧太后那里，慈禧大怒，又将段芝贵罢免了职务。
还有一次是在七年后，段芝贵任职湖北都督期间，袁世凯的儿子袁克定因事来到武汉，在怡园看戏时，相中了坤伶王克琴，段芝贵打探到这个消息后，立刻花费八千块给王置办家具日用品，想要把王献给袁克定，可王克琴严词拒绝，这件事最终不了了之。
段芝贵一生虽然官至上将，多次担任封疆大吏，可除了溜须拍马，几乎没有什么建树，生平最大的成就 也就是在讨伐张勋时做了一个配角。
直皖战争中，段芝贵以火车为司令部，在将士们浴血奋战时，他竟然和手下打起了麻将，在牌桌上指挥作战，身为主帅，打仗如同儿戏，皖军怎能不败。战败的消息传到司令部，牌局还没有结束，段芝贵就坐着火车逃走了。