宋高宗有两任皇后，第一任为宪节皇后邢秉懿，康王妃；第二任宪圣慈烈皇后吴氏。第一任皇后并不是举行仪式册封的，当时赵构出使金国，还在路上，将妻小都留在藩邸。
后不久，金兵攻破东京汴梁，邢秉懿和两位侧室田春罗、姜醉媚以及康王的五个女儿被金人掳走，当时邢秉懿已有身孕。起初一行人北行不久，便传出几位皇室女子相继坠马流产，其中包括郓王妃朱凤英、康王妃邢秉懿、洵德帝姬赵富金、柔福帝姬赵嬛嬛。这估计是金兵故意而为之，都成俘虏了，还留什么孩子。当时赵构还没有儿子，只有五个女儿，也一并被抓着北迁。一个三岁的女儿和两个二岁的女儿，都死在北迁的途中，年岁太小，加之磨难，早夭。还剩下两个四岁的女儿，北迁至金国之后，合着众皇室女子一并投入浣衣院（金人官营妓院）！！！
当时金国的盖天大王强逼邢秉懿，使她险些自杀以护贞节，起初，一同被北迁的曹勋受宋徽宗之托逃回南方。临行之前，邢秉懿脱下一只金耳环，命侍者交付曹勋，请他转交给宋高宗，说：“请代我告诉大王，我希望能像这只耳环一样，能早日与他相见。”赵构得到了之后，相当珍惜，遥册邢秉懿为皇后，公元1139年，邢秉懿于五国城逝世，年三十四，金熙宗下诏以一品礼下葬，但是南宋方面并不知情。直到公元1142年要迎回韦贤妃时，才得知邢秉懿已死，这时的皇宫已经空有后位16年。
赵构的第二任皇后——吴氏，十四岁被选入宫，侍奉赵构，南宋朝廷建立之初，外有金兵追击，内有各种兵变，吴氏身穿戎装，常伴随高宗左右，英姿煞爽，后韦太后金国还朝，吴氏伺候太后起居并得到认可，且知邢秉懿已死去多时，高宗便在不久后侧封她为皇后。公元1197年，吴氏病死，终年八十三岁。她和赵构的婚姻可以说是一个奇迹，从公元1128年算起，到公元1187年赵构病死，吴氏和赵构走完了一个金婚（结婚50年）又九个年头。这不能不说是中国皇室婚姻史上的一个奇迹。古代皇室婚姻，不是皇帝早逝，就是妃嫔早逝，再不然就是打入冷宫，死于凄清之地，能在一起执手59年，就连现在的人们也很难做到吧。
赵构的子嗣并不繁盛，或许是对于他昔日所作所为、一味逃避求和的报应，五个女儿，三个早夭，两个被投入浣衣院，生死未知，仅有的一个亲生儿子赵旉，为潘贤妃所出，结果在三岁的时候就早夭，之后，后宫无所出。当时苗刘兵变，控制赵构，扶持赵旉登基即位，改元明授，从即位到退位共计26天。后因宫女保姆疏忽，受惊吓而死，赵旉就是这样早夭的，这么小就做了皇帝，可惜估计还不知道自己干了什么大事，就被吓死了。
赵构迫于朝中对皇室开枝散叶的希冀，收养了两个儿子，养子赵伯琮也就是赵昚，名伯琮，后改名瑗，赐名玮，字元永，宋太祖七世孙，后为宋孝宗，养母张贤妃。养子赵伯玖，被收养后更名赵琢，养母吴皇后。按道理说，当时吴氏是皇后，赵琢也长得颇有帝王福相，继承皇位的几率有八成。但是，耐不住赵构不按常理出牌，他给自己的两个养子各自送去10个美女，过了一段时间又全部召回来，然后让女官去检验，结果发现给赵琢的那10个已经都不是处女了，赵昚的则完全相反，那些全是完璧之身，由此一事，确立了赵昚的皇太子地位，赵琢因为好色，失去了本该十拿九稳的位置，虽然赵构行事风格有些荒唐，但不可否认的是他选择了一个优秀的继承人。