栾书是栾氏后代，而栾氏又是晋国公族下的旁支，也属于晋国公族。晋国国君晋靖侯的孙子中有一个名字叫做宾的，被分封在了栾邑。公孙宾在栾邑另外建立了宗庙，他们皆以栾邑的“栾”为氏，从此一代代延续下去。脱离了晋国公族的栾氏，不但没有衰弱，反而变得越来越显赫，在晋国的权势也极大。
曲沃恒叔进行曲沃代翼的政治夺权中，栾氏的主要领导人物栾宾是曲沃恒叔的坚决的拥护者，但是栾成却是翼城晋侯的拥护者。栾氏一族中出现了分歧，就晋国内乱来看，栾氏家族内部也存在不小的混乱。好在栾宾帮助曲沃恒叔治理曲沃，将曲沃经营得很好，后来在曲沃代翼的过程中出了不少的力气，所以栾氏才能在后来的晋国有一立足之地。
曲沃武公取代了翼城晋侯以后，栾氏的地位有增无减。晋献公在位时期，由于晋献公宠爱骊姬而祸害晋国公子，栾氏看在眼里，他们拥护的是狐姬所生的公子重耳。公子重耳少年时期就已经有了贤名，而且传播的范围很广，名气很大，看得出是一位贤能的君主。栾氏的确有看人的眼光，后来重耳虽经历了重重磨难，但最终还是成为了晋国的国君，这其中，栾氏一族所立功劳不小。在重耳还没有离开晋国的时候，栾氏一族就表示了自己的立场是追随公子重耳的，所以晋献公死后，晋惠公继位，晋惠公重用亲近的郤芮的郤氏家族，以及吕省的家族，就是不重用甚至排挤栾氏。而栾氏一族则在栾枝的带领下，暗中为公子重耳回国做着准备。
公元前636年，重耳回国夺位成功，继位后是为晋文公。当时他要扩张军队的时候，栾氏因为功劳突出，栾枝直接就被晋文公封为了下军将，成为晋国三军中的一军统帅。就连晋文公最宠信的大臣赵衰也曾夸奖过栾枝的品性是“贞慎”！晋文公时代结束以后，栾氏始终在六卿中占有一席之地。公元前618年，栾枝去世了，于是执政大臣赵衰之子赵盾便将栾枝的儿子栾盾拉入了六卿之中，让他担任下军将。但是栾盾是一个中立派，他平时就不拉帮结伙，也不擅长言辞，还不喜欢赵盾这种权臣，所以就遭到了大家的一致排挤。在三军中，栾盾的位置一直很尴尬，但是他还是坚持了过来，虽然栾氏没能在他手中跻身一流的政治决策群，但是他给他的儿子栾书留下了一个很好的身份，即六卿之一的身份。
但是，由于栾书的父亲栾盾不善经营朝中的势力，所以一直处于六卿中地位最低的，栾书可是以复兴晋国的霸业为宏伟目标的，他一定要想办法往上走才行。想要在六卿中变强，首先得找到一个能够依靠的盟友，这个盟友一定要足够有分量，能够帮助自己在六卿中站稳脚跟。栾书是下军佐，他的顶头上司下军将就是赵氏的赵朔，两人经常工作，所以很快便聊在了一起，志趣相投。赵朔和栾书的资历都是差不多的，都没什么政治经验，但是赵朔背后的赵氏家族却远远高于栾氏，栾书于是紧紧的抱着赵氏的大腿。赵氏和郤氏是多年的盟友关系，栾书得到了赵朔的认可，自然也受到了当权者郤缺的认可，获得提拔已经不是不可触碰的事情了。
可是，栾书因为和赵朔交好，卷入了赵氏的家族内讧中。郤缺死后，荀林父执政，赵氏兄弟赵括等人不喜栾氏，和栾氏争夺卿位，最后荀林父顶住了赵氏的压力，才保住了栾书的卿位，栾书于是仇恨赵氏。赵氏一族的灭族之灾中，栾书加了一把柴火，断其退路，这才最终酿成了惨剧。荀林父之后是郤克执政，郤克很看重栾书，在临死前，将下军将栾书直接提拔为正卿，栾书的时代到来了。