提案です。
夜だけ、囁きを表の時間軸と切り離して、違う時間軸を設定してみたらどうかなぁ？と考えました。

ぶっちゃけ予想以上に表のイベントだけでリアル撤退してしまうことが分かったので、部屋内での会話が起きづらいなぁ、と。
ただし「回想」はあっても「分身」はしないというのが大前提です。

・リアル「22時あたりから深夜まで」→囁き内「就寝直前から就寝まで」

つまり、夜のイベントを表でこなしながら、囁きではその後の部屋に戻ってからの話をつらつらと行う、みたいな。
この時間区切りは絶対ではなくて、場合に合わせて適当に変更可。

※注意すべきこと
囁きでの発言が表に逆に影響を与えないように気をつけること。
表で○○さんと△△さんが話しているときに、囁きで「あの時どう言うつもりだったの？」とか聞かない。表のイベントが一区切り付いたものだけを話題にする。

いかがでしょうか？「めんどくさいから却下」とかでもいいので、ご意見おねがいします。