三、名不正言不順的二夫人

1925年春節(jié)前，她隨少帥返回沈陽，張學良在沈陽的經(jīng)三路28號購買小樓一幢，作為谷瑞玉來沈陽時的住所，直至她與張學良解除婚姻關系為止，谷瑞玉始終未能名正言順地住進沈陽大南門張氏帥府。張學良大夫人不接受谷瑞玉，主要有兩方面考慮。第一，谷瑞玉曾經(jīng)成為土匪的小老婆，這段屈辱的歷史，于鳳至經(jīng)常談起，她認為張學良就是納妾，也不能娶土匪小老婆。第二，張學良認識谷瑞玉后，開始在外面找女人，于鳳至認為是谷瑞玉帶壞了張學良。

三、性情大變，張學良休妻

后來，張學良和谷瑞玉離婚了，主要和郭松齡有關。張學良和郭松齡是亦師亦友的關系，所以谷瑞玉和郭松齡夫婦關系非常好，經(jīng)常有書信來往。郭松齡起兵反奉失敗后，張作霖親信在郭松齡家中找到了谷瑞玉的書信，張作霖非常生氣，要求張學良和谷瑞玉離婚。此外，谷瑞玉由于興趣嗜好等發(fā)生變化，漸漸與張學良發(fā)生磨擦和誤解，刻苦、溫存與任勞任怨的好作風隨著時間的推移不見了。

由于戰(zhàn)爭的困擾及南征北戰(zhàn)帶來的煩躁使谷瑞玉變成了另一個人。她不時為小事無端發(fā)火，甚至與少帥發(fā)生口角爭執(zhí)，破壞了她在少帥心中良好的印象。很長一段時間，張學良駐守保定，而素有隨軍夫人美稱的谷瑞玉獨自居住津門，學會了跳舞、下酒巴、和戲，與人打麻將至深夜不散。還經(jīng)常到北京一連數(shù)日聽戲不歸，有時借著張學良的名義請梅蘭芳等京華名伶，到她借住的朋友私寓里唱堂會，因此影響了那些著名演員的票房收入。

名伶?zhèn)冸m然也對谷玉瑞無休止的堂會心存不悅，可是他們顧及她是少帥的內(nèi)眷，不得不違心前往。此事傳到張學良耳中，十分惱火。張學良甚至下令日后她不能再以他的名義煩請京津名伶無端唱堂會戲，可是谷瑞玉卻繼續(xù)我行我素。1931年1月，張學良與谷瑞玉解除了婚姻關系。張學良在天津的英租界為谷瑞玉購買小樓房一幢，又給她10萬元作為生活之資。

谷瑞玉和張學良離婚后，在南開大學當了物理系的教授，一直到退休，終生未再嫁。