在朱元璋看来，他的手下大将那么多，但是能得到他的夸奖的“虽古名将，未有过之”的人却只有常遇春一个。
在投靠朱元璋之前，常遇春其实是一个小土匪。元末乱世中，出身于贫苦人家的常遇春过得很不如意，少年时期的常遇春就已经有了远大的抱负，他不甘心继承祖祖辈辈面朝黄土背朝天的农民命运，便跟着人学习武术。没有学费，他就做苦力挣工钱，一边“打工”一边学武功，就这样日复一日年复一年，长大以后的常遇春终于成了一名武术高手，他精通所有兵器，尤其擅长骑射。
常遇春本以为有了武术就能过上富裕的生活，结果现实却给了他狠狠一击，他的生活并没有发生任何改变，对此常遇春非常抓狂，一抓狂他就干了一件糊涂事，那就是加入了绿林大盗刘聚的队伍。
刘聚常年活动于怀远、定远一带，不得不说在那个年头当盗匪的老大压力也是很大的，在乱世当中稍有不慎就翘辫子了，他们打家劫舍运气不好也会遇到武功高的，所以刘聚的队伍里急缺那种武术高手。常遇春的到来，让刘聚眼前一亮，他见小伙子孔武有力，非常热情的将常遇春留在了他的队伍里，常遇春从此干着抢劫杀人的勾当。
抢劫什么的，常遇春还从没有干过，所以刚开始的时候他工作起来充满了新鲜感，每次抢劫都能收获很多财物和粮食回来，这轻松得来的财宝无限刺激着他。原来这么简单就能获得自己一直以来梦寐以求的生活，这大口喝酒大口吃肉的日子啊，真好！
几个月的时间过去了，常遇春干了很多票，他觉得自己就像是“流水线上的工人”，重复做着同一件事，久而久之就产生了厌倦感，常遇春想，自己不会就这么过一辈子吧？
就在这时，常遇春遇到了朱元璋。那时常遇春正跟着刘聚在和州抢劫，而朱元璋正率兵攻打和州。在江湖行走的这段日子，常遇春听说了很多有关朱元璋的事迹，他听说朱元璋是一个仗义豪侠，心中很是钦佩。毕竟每个少年心里都有个英雄梦嘛，常遇春也不例外，在他眼里，朱元璋是个英雄，是他的偶像，于是就产生了去投奔朱元璋的念头。
近距离见到偶像的机会并不多，常遇春非常明白这个道理，他趁着进城抢劫的时机，装作一般百姓的样子，看到朱元璋温和对待属下，以及他所带的士兵们都礼遇百姓的举动。常遇春当时就坚定了心里的想法，跟着朱元璋才能干大事！遂跑去投奔朱元璋。
朱元璋接见了常遇春，常遇春也交代了自己的来历，包括他的土匪身份，当时朱元璋问了他一个问题：“你是不是饿着了来我这里找饭吃？”常遇春说：“我打劫所获颇多，不愁吃穿，只不过我认为跟着你比跟着刘聚更有盼头，所以来投奔将军。”朱元璋又问：“那你愿随我过江打仗吗？”常遇春说：“将军指哪我打哪，而且我请求当先锋！”
朱元璋本身就是农民出身，他和常遇春的经历也很相似，所以将常遇春留在了身边。之后的很多年朱元璋回想起来应该都会为自己收服了常遇春而感到庆幸，因为常遇春后来的战绩实在是无人可以超越，他鏖战衢州、大战九华山，朱元璋最大的敌人之一陈友谅就是常遇春所破。
常遇春最终病逝于军中，朱元璋听到他去世的消息很是悲痛，他写了一首诗，称自己从不曾为儿女的死流泪，如今却为常遇春伤心不已。后来，朱元璋还专门命令宫廷画师为常遇春绘制身穿龙袍的全身像，朱元璋的功臣中只有常遇春享受了这一待遇。