杨振宁考入联大后，全家七口仅靠父亲一人挣工资养家糊口，生活过得十分艰难。1939年9月28日，日本飞机首次轰炸昆明。其后至1941年底，联大师生和其他昆明人一样，在“疲劳轰炸”下三天两头就要跑警报，有时一天要跑两次。1940年9月30日，日机又来轰炸昆明，杨家在小东角城租赁的房屋正中一弹，被炸得徒有四壁，全家少得可怜的家当顷刻之间化为灰烬。万幸的是，家人此时都躲进了防空洞，才免除了灾祸。可这次轰炸，对杨家的生活来说，无异于雪上加霜。几天后，杨振宁拿了把铁锹回去，翻挖半天，才从废墟里挖出几本压得歪歪斜斜但仍可使用的书，他如获至宝，欣喜若狂。

其后，为躲避日机轰炸，他们全家搬到昆明西北郊十余公里外的龙院村惠家大院居住，且一住3年。惠家大院分前院和后院，前院租给联大的教授居住，后院惠家自己的人住。吴有训、杨武之、赵忠尧三家住在惠家大院一进大门左边顺门而建的房屋里。此屋为两层小楼，吴有训家住楼下，杨武之、赵忠尧两家住楼上，赵家楼下是厨房。杨、赵两家的住室间有一窄窄的过道，过道的地板上开有一个洞口，自此通过楼梯可到楼下。