也许是因为对林徽因的爱深入了骨髓，只要林徽因好就行。所以会极度的克制自己，不会做伤害林徽因的事情，更别提破坏林徽因的家庭了。
认识金岳霖的人，多半是因为他和林徽因的感情关系。据说，林徽因曾经跟丈夫梁思成说：“我苦恼极了，我同时爱上了两个人，不知怎么办才好。”一个就是自己的丈夫，梁思成；一个就是邻居老金——金岳霖。作为一个男人，面对妻子的表白，梁思成当然很痛苦。他痛定思痛，告诉妻子：“你是自由的。如果你选择了老金，祝你们永远幸福。”
随后林徽因和老金谈了这件事，金岳霖明白梁思成宁愿放弃也要让林徽因幸福意味着什么。所以老金终于放弃了介入这段恋情羁绊中来，金岳霖怕伤害到梁思成，不禁叹息，但内心又深爱着林徽因，金岳霖不能没有了林徽因，林徽因对金岳霖来说实在是太重要了，所以金岳霖随后做出了决定，金岳霖决定终生不娶，以此来表达对林徽因的爱，这是一个哲学家的浪漫举动，就算倒了现在，这个举动也依然让人敬服。
金岳霖说他要退出，然而他也没有退出得很远——事实上，徐志摩去世之后，金岳霖就把家搬到了梁氏夫妇家的后面。除了早饭他自己在家吃，中饭、晚饭他大都搬到前院去和梁家吃；开派对，就在他家里开。
但是在随后的日子中金岳霖却和林徽因暧昧有加，经常出没在林徽因家里，就如同夫妻一样形影随同，从北京到昆明金岳霖一直都住在林徽因家的，但是两人都没有踏出肉体出轨的这一步，但是金岳霖和林徽因在日常生活中就跟普通夫妻一样了，大家可能都知道金岳霖是“试婚”主义的忠实信仰者。
在这里不难看出金岳霖为何跟林徽因生活在一起的原因，但是金岳霖是一个哲学家他能控制住自己的情感和言行，所以他住在林徽因家里并没有真正影响到林徽因和梁思成的正常夫妻生活，加上金岳霖跟梁思成有着颇为不错交往关系，也并没有闹到情敌不共戴天的地步，这也是梁思成为何对不反对三人同住的原因，更多的是林徽因跟梁思成彼此有着深厚的感情基础，看似荒唐，但林徽因对梁思成还是忠贞不渝的。