夫妻已经协议离婚了，协议上规定给男方的房子因为还在银行抵押，无法过户给男方。协议离婚时归属女方的债务是否会影响到南方。