乍一看“荣禄与慈禧太后的关”，大部分人的反应，肯定都是这两人不就是主子与奴才的关系吗？等联想到民间传说中，那些有关慈禧太后的香艳情事，大家可能会猜测这两人难道也有私情？
实际上说慈禧太后的各种淫乱情事，大部分见于野史和民间传说。虽然不可考证其中真实性，但至少反应了一点，那就是慈禧太后在老百姓心中的厌恶程度。清王朝的太后与外男有私，各种缠绵纠葛，在民间广为流传，并不是源于慈禧。事实上，早在大清初年，孝庄太后的各种爱情故事就被百姓广为传播了。比如孝庄夜探牢狱，用美色招降明末著名将领洪承畴。又或者是与多尔衮之间缠绵悱恻的爱情故事，这些故事都极具浪漫色彩。可是到了慈禧太后这儿，可没有孝庄那般浪漫了，用一个词语来说，那就是“淫荡”。与孝庄有这方面关系的，大多数都是提不上台面的市井小人，比如说戏子，比如是古董商，又或者是饭馆里的伙计。后来随着慈禧地位的提高，与她有私情的男人，地位才有所上升。这些男人中，就有荣禄。
最先提到慈禧与荣禄有关系的，是德龄公主。
德龄公主不是真的公主，是慈禧晚年比较宠信的一个宫廷女官。她用英文写了一本小说体回忆录《爱恋紫禁城》，中文名叫《慈禧御苑外史》。在这本书里，她将慈禧与荣禄的关系解读成恋人关系，而且荣禄还是慈禧的初恋情人。
《慈禧御苑外史》节选：
“‘荣禄’她喃喃地喊着他的名字，‘我又来了！’”这是写两人幽会。
“从这时候开始，兰儿对荣禄的恋情表示了冷淡，而荣禄对她的爱却是与日俱增。她疏远他，而她将自己关进那蕴藏着无穷野心的梦室里的时候，他更是疯狂地爱她。”这儿是写慈禧入宫之后，见证了宫中的繁华，对于权力有了极大的渴望，因此便放弃了这段恋情。然而慈禧的冷淡，并没有浇息荣禄火热的内心，反而越发疯狂。
“在热河，一个忠诚的步军统领经过仔细考虑后，擅自离开了自己的岗位，在爱情与责任之间徘徊了一阵后，他放弃了责任。”这儿是写荣禄察觉肃顺要加害慈禧，不顾违背规矩，决定去救慈禧。
这种描写，以及这种故事情节，像不像是西方常见的贵妇与穷小子之间的爱情故事。实际上这位“公主”写这本书，就是写给西方人看的，并不可信。
野史不可信，但我们却不能否认慈禧对于荣禄的看重，以及荣禄对慈禧的忠心。慈禧掌权后荣禄一路高歌，到晚年集军政大权于一身，权倾朝野。而在辛酉政变期间，手握重权的肃顺想除掉慈禧，是荣禄带着亲兵赶来护驾，保得慈禧母子平安回宫。
荣禄是一个一个政治智慧比较高的人，年轻时得罪权贵而被派往大西北使得他养成了谨小慎微的习惯。政治上敏锐的洞察力使得他成为后党的中坚力量。
同样他也不是顽固的守旧派，他虽然一手导致了维新变法的失败，但实际上他只是不认同康梁一党，使用的维新办法。
荣禄致湖北补用道连捷：“迩来朝政日新，圣主虚衷采纳，仰见孜孜求治之怀。”
荣禄致林旭：“朝廷孜孜求治，破格用人，诚为非常遭际。”
荣禄致陈泽霖：“目前时局日新。”
这些都可以看见荣禄对于维新的态度，可以知道他是一个眼光极为长远的人。