女性上司に昇格を匂わされて内密に仕事を肩代わりして、毎日遅くまで残業してた自分。ある日、女性上司がある事を言ってきて・・

独身男です、女性上司（既婚）とのことについて話します。
2018年ごろから女性上司に昇格を匂わされて内密に仕事を肩代わりし、毎日のように遅くまで残業をしていました。
食事に誘われたり向こうから好意を匂わせるような発言があり徐々に不倫のような関係（マスク越しにキスする程度）となりました。
そのまま５年が経過し、仕事のことで関係が悪化したこともあり、私が昇格することはありませんでした。
三ヶ月ほど前にあるきっかけで他のスタッフに愚痴として話したところ、それを耳に挟んだ上司が「昇格を約束をした覚えはない」と言われ、幹部マネージャーにも報告されました。
マネージャーとの聞き取りが行われ、私は管理職しか関わらない業務に関わっていたことを暴露したところ、理解を示してくれ、上司の処分も示唆していましたが、少し経ってから上司の話も聞いて「問題はないと判断した」と言われました。
一方的に上司の言い分を信じて証拠などの事実確認もせず、「あなたがいることで他の人に悪い影響や業務に支障が出るから移動していただきたい。」と言われました。
移動部署は今の職場から１時間以上かかる場所になるため肉体的・精神的に私の負担が大きく、左遷のように感じられたため、受け入れられないことを訴えましたが、異動命令は変わらず退職を決断しました。

上司との不倫については話すつもりはありませんでしたが、退職の直前に同じ部署の同僚から声をかけられ、「以前から不可解に思うところがあるから話を聞かせてほしい」と言われました。
同僚の話を聞くと、上司は私について「ストーカーのように付きまとわれていて困っている」と常に周囲に話していたようです。
そのため同僚に打ち明けたところ、合点がいったところがあったようで、「もっと早く打ち明けてくれたら辞めることもなかったのに」と言われました。

他のスタッフもそれぞれに思うところがあり、私への誤解は解けたそうですが、マネージャーにも話した方がいいと勧められ、上司とマネージャーが同席する退職面談ですべてを打ち明けました。
上司は「彼の勘違いです」と否定し、マネージャーは面倒そうな反応を見せ、取り合う様子はありませんでした。

不倫をした身で非常に勝手ですが、結局上司にお咎めはなく、このままでいいのかと悔しくてたまりません。
私には現在結婚予定の彼女がおり、上司とのことについてすべて話して謝罪し、理解してくれましたが彼女からすれば会社に対して訴えるなど話を大きくすることは望んでいません。

こういうときは「幸せになることが最大の復讐だ」と言われたりしますが、どうしてもそう思うことができません。
同僚に事情を打ち明けるまで私は周囲にストーカーのような行為を繰り返した処分として異動が下されたものだと思われていました。
私のしたことが批判されることも重々承知ですが、法に触れない形で上司に仕返しをする方法はありませんでしょうか。