因为同为教育战线，孙老先生也挺赞同这段婚姻。
没过几日，孙多慈收拾行装离开了桂林，跑到远远的浙江丽水，在那里定居。
不久孙多慈便与当时的浙江省教育厅厅长许绍棣结婚，先后在浙江艺专、省立临时联合中学（校址在丽水碧湖）任教。据陆汉民回忆：“大家都不同意，就连介绍人王映霞的丈夫郁达夫也不赞成。”“徐悲鸿听到这个事情，还曾经赶到当时表姐避难所在的浙江丽水，但没有遇到孙多慈，只好作罢。”
孙多慈嫁给许绍棣之后便十分后悔。孙、许二人从来没有感情，并且许绍棣还比孙多慈大了二三十岁，这不得不说孙老先生脑子出了毛病。
许绍棣也是个文人，曾呈请国民党中央要求通缉“堕落文人”鲁迅。在其前妻生病期间，这个百般无聊的人看上了郁达夫的妻子王映霞，不顾所有人的唾弃，公开携王映霞去碧湖同宿，致使郁达夫痛苦地离开浙江。郁达夫后来死在苏门答腊，也因此事引起。（郁达夫婚变一事，见《且把浮名抛：民国才子往事》）许绍棣本来甜言蜜语答应王映霞离婚后和其结婚，但王映霞离婚后许认识了年轻貌美的孙多慈，顿时惊为天人，于是百般讨好，千番追捧，而那个时候，徐悲鸿和蒋碧微始终没有拿到离婚证书，加上孙多慈的父母的坚决反对，同时孙多慈也已26岁，便听从父母，与许绍棣结为夫妇。
结婚前，孙多慈也是以为身为教育厅长的许绍棣一定很有学问，婚后才知道其无知自大，而且是见到漂亮女人腿发软的那种好色之徒。
1939年8月，孙多慈还在给徐悲鸿的一封信中表达了自己的后悔之心以及对徐悲鸿的思念之情。其中有一句大意是：“我后悔当日因为父母的反对，没有勇气和你结婚，但我相信今生今世总会再看到我的悲鸿。”
所谓“嫁鸡随鸡，嫁狗随狗”，孙多慈毕竟只是个传统的女性，1948年，孙多慈随许绍棣去了台湾，到台湾艺术学院任教，1963年任该院院长。她看不起许绍棣，却又最终未能与其离婚；在一起生活却因为理念的不同经常吵架，于是这个时候反倒思念起徐悲鸿的好。为此，痛苦、矛盾、后悔的一生的孙多慈为了寻求心灵的释放，经常借故去美国。
在美国的时候，孙多慈大多在吴健雄家里。吴健雄是著名的女物理学家，也是个爱画之人。孙多慈去美国也是每次必到王少陵先生家。王少陵是一位名震一时的油画家，住在纽约。当年他从大陆去美国，向徐悲鸿告别，当时徐悲鸿正在画室内写诗。王少陵因赶时间没有来得及等徐悲鸿为其作画，他便硬叫徐悲鸿在一幅本来写给孙多慈的诗作上落下了他的款，并且带到了美国。这幅徐悲鸿手书的诗幅也一直挂在王少陵先生位于纽约的家中，其内容是：急雨狂风势不禁，放舟弃棹迁亭阴。剥莲认识中心苦，独自沉沉味苦。孙多慈每次到王少陵家估计也是为此，并且见到徐悲鸿的这首诗都会黯然神伤，泪流涟涟，一沉默就是连续几个小时。
1953年9月，孙多慈又到纽约参加一个艺术研讨会，画友们见面兴高采烈，可随即传来徐悲鸿逝世的消息。孙多慈当时就昏厥。醒来后，她说一生只爱徐悲鸿，当场表示戴孝三年，据说，她当着许绍棣的面，真的为逝去的大师徐悲鸿戴三年孝。
20世纪70年代初，孙多慈患了乳腺癌，曾三次飞往美国手术，仍无效，于1975年2月，病逝于她的好友吴健雄博士的家中，享年63岁。
