不让老婆和异性说话对吗有影响吗