まあある程度軽くしようと言う考えは見えるがHWもまだ諦め切れんなあ…
https://ipforce.jp/patent-jp-A-2019-121394

【０３６】
  例えば、実際の視点の近くの基準視点に関して生成された基準画像から対応する画素が特定され、実際の視点と基準視点との距離および／または角度に基づいて重み付きで平均することによって、表示画像の画素値として使用される。
レイトレーシングなどの方法によって経時的に予め正確な基準画像を生成することにより、画像表現を、動作中に、
レイトレーシングが用いられるときと近い高精度で、
ただしわずかな負荷しか課さない計算で、すなわち、対応する画素値を読み出し、重み付け平均を行うことによって、実現することができる。

【００３７】
  好ましくは、基準視点は、ユーザの視点の可能な移動の範囲をカバーするように分配される。基準画像は、レイトレーシングによって描画されたグラフィックス画像だけに限定されず、
例えば、予め基準視点から現実空間を撮影することによって得られた画像とすることもできることに留意されたい。
この場合、空間構築部２６２は、撮影された現実空間の形状モデルを構築し、
投影部２６４は、表示中に視点に従ってビュー画面上にこの形状モデルを投影する。
あるいは、撮影されているオブジェクトの画像の位置を、
表示中に視点に対応する視野において決定することができる場合には、空間構築部２６２および投影部２６４の処理を省略することもできる