贞观三年,公元629年，李世民授予房玄龄太子少师官衔。
他坚决推辞，只任代理太子詹事，兼任礼部尚书。
这一事，充分显示了房玄龄的懂得进退。
也正是如此，李世民更加的看重他。
第二年，就让他接替长孙无忌任尚书左仆射，改封爵号魏国公，同时主持编撰本朝历史。
房玄龄统管朝廷各部门政务以后，更是忠于职守，从不懈怠，尽心竭力，不愿出现一点失误。
他听到别人的优点长处，就像是自己有那优点长处一样高兴。他熟悉百官的情况，多讲优点来鼓励他们，研究制订法律条例，立意是宽容公正。取用人才不求全责备，不用自己的长处苛求别人，按照才干安排职务，出身低微也无妨碍。
公众舆论赞扬他是贤相。
他有时出了差错被皇上批评，就一连几天在理事的朝堂里叩头请罪，惶恐不安，好像无地自容。
贞观九年，因维护李渊的陵墓制度有功，加赐开府仪同三司名号。
贞观十一年，跟司空长孙无忌等十四人一起被封为世袭刺史，按照这个身份任宋州刺史，改封爵号梁国公。
贞观十三年，提升为太子少师，房玄龄多次呈表请求免去尚书左仆射职务。
李世民批复说：“选贤任能的关键，应以不存私心为根本；事奉国君的原则，应以当仁不让为美德。各个时代都靠这弘扬教化，所有贤良都靠这协调关系。你忠诚谦恭，正直厚道。天下混乱之时帮我谋划建立功业，玄武门事变之前帮我扫平登极道路。你为朝臣们树立了楷模，按法度处理政务；辅佐太子，声望成就都如此显著。可现在忘掉了根本原则，拘泥于琐细规矩，虽然接受了太子少师的职务，却推辞襄理政务的重任，难道这就是所说的辅佐我一人共同安天下吗”
房玄龄于是担任尚书左仆射的同时兼任太子少师。
这时皇太子李治就要举行拜师仪式，备办了礼物等着他，房玄龄迫切地希望降低自己的权位，又不敢上表陈述，就自动回家去了。
他这样的行为，让有识之士见了，没有不尊重他的辞让精神。
房玄龄自从官居中书令、尚书左仆射十五年时间，女儿嫁给了李世民的儿子韩王李元嘉为妃，儿子房遗爱娶李世民的女儿高阳公主为妻，一时显贵到了极点。
他多次呈表辞职，李世民老是劝阻。
贞观十六年，房玄龄和高士廉等人合作编写成文思博要一书，赏赐非常丰厚。
他被提升为司空，仍然统管朝廷政务，主持编撰本朝历史。
房玄龄呈表直言请求辞职，李世民派遣使者对他说：“西汉张良辞让官职，东汉窦融谢绝荣誉，自己警惕水盈则溢，月满则亏的规律，能够知难而进、激流勇退，善于见好就收、知足常乐，前人传为美谈。您也仿效前贤先哲，实在应该赞美。不过朝廷多年重用您，一旦突然没有了您这样的贤相，就像失去了两条臂膀。您如果身体还好，就别再这样辞让了。”
房玄龄只得作罢。
贞观十七年，房玄龄与司徒长孙无忌等人绘了肖像陈列在为表彰功臣而建造的凌烟阁，为他写的赞词说：“才兼藻翰，思入机神。当官励节，奉上忘身。”
李治当时是东宫太子，房玄龄兼任太子太傅，仍然执掌门下省的政务，继续主持编撰本朝历史。不久，由于完成了高祖、太宗实录的撰写任务，朝廷颁发玉玺封记的文书嘉奖，赏赐丝绸一千五百段。
这一年，房玄龄因继母去世离职回家守孝，李世民特地命令用昭陵墓地安葬他的继母。
没过多久，又召回他官复原职。
李世民御驾亲征辽东，命令房玄龄留守京城，写下手谕说：“您担当如同汉王刘邦的丞相萧何留守关中一样的重任，我就没有后顾之忧了。”战车装备，军队粮饷，都委托他安排发送。
房玄龄多次对李世民说不能轻敌，要特别警惕小心。
不久与中书侍郎褚遂良接受诏令重新编写晋书，于是奏明李世民，调来太子左庶子许敬宗、中书舍人来济、著作郎陆元仕和刘子翼、前雍州刺史令狐德盞、太子舍人李义府和薛元超、起居郎上官仪等八人，分担收集记录工作，以臧荣绪主编的晋书为蓝本，参考其他各种版本，很是详尽严密。然而修史官员大多是善于作文吟诗的文人，喜爱收集奇异怪诞的琐事，以扩大宣扬新奇的人物事件；写的评论文字，一味追求华丽，不讲忠于事实，因此遭到有学识的人的批评。只有李淳风很懂天文历法，善于写作，他写的天文志、律历志、五行志，最值得一读。
太宗亲自撰写了宣帝论、武帝论以及陆机论、王羲之论，因此全书署为“御撰”。
贞观二十年，全书编写成功，共一百三十卷，诏令藏到宫廷收藏珍稀书籍的秘府，按照等级给编撰人员赏赐奖品提升官职。
房玄龄当然也有犯错的时候，他因小过失主动申请回家闲居。
黄门侍郎褚遂良忙呈递奏疏说：“国君是脑袋，臣子就是四肢，龙一腾跃云就兴起，不用呼唤就会聚集，如果时机一到，那真是千载难逢不可错过。陛下昔日当百姓时，心怀拯救黎民于水深火热的志向，手提锋利的宝剑，兴起仁义之师。平定各处暴乱，都是您的神功，文事方面的工作，多靠臣属辅佐。臣属中竭尽心力的，房玄龄首屈一指。历史上的姜太公扶助武王姬发灭商建周，伊尹辅佐商汤灭夏建商，萧何留守关中帮助汉王刘邦灭楚兴汉，王导扶持司马睿统一江南建立东晋，同这些人比，房玄龄是配得上的。再说高祖武德初年他投奔义军事奉陛下，忠诚勤勉谦恭孝敬，大家都崇敬他。前东宫太子李建成、海陵郡王李元吉，依靠恶人制造祸乱，陷害谋杀陛下，秦王府人人惶惶不安，处于累卵、倒悬似的危急时刻，生死存亡系于一旦，房玄龄的耿耿忠心，始终不曾改变。”
李世民见了，留任房玄龄。
这事，再次显示了房玄龄强大的人际关系。