שלום וברכה!
מסתבר לאסור. והדבר נפק"מ למשל כשאשתו שוכבת על מטה שאינה מיוחדת לה (כמו מיטה בבית חולים או בבית החלמה) אין לבעלה לשבת על מטה זו בעת שאשתו שוכבת עליה. וכמו כן אם ירצה הוא לשכב על מיטה זו אזי אין לאשתו לשבת שם בעת ששוכב שם.
יעויין בשו"ת באר משה (ח"ה סי' קמ) ובאבני שהם (סי' קצה ס"ה. במהד' עשירית עמ' תריט).