オフィス交渉のコツ

これを気持ち悪いと思う私は、変ですか？
会社の同僚男性に好意を持たれているようで、ちょこちょこ（４，５回？
）食事に誘われます。
私のほうは、全く気持ちがないので、毎回、特に理由も告げずに、お断りしていました。
ちなみに、お誘いは、毎回毎回、夜、残業で、オフィスに残っているのが私と男性二人きりになったときに誘われます。
そりゃ、他の人がいる前で誘いづらいのでしょうが、何だか、（二人きりになるタイミングを）待ち伏せされてる気がして、「ちょっと、嫌だなぁ」と思っていましたけど、大きく気になるほどでは、ありませんでした。
でも、先日、夜、残業で、私一人がオフィスに残っていたときの話なんですが、その男性から（会社の電話に）電話がかかってきまして。
「○○さん、残っている？
」「いえ、もう帰ったみたいです」「そう、ちなみに、あと、誰が（オフィスに）残ってるの？
」「もう、私だけですね」「あ、そうなんだ、じゃ、頑張ってね」という会話を交わして電話を切ってから１０分後。
その男性が、帰ったはずの男性が、オフィスに舞い戻ってきました！！で、オフィスに戻るなり、私の席に来て「この後、良かったら食事でも行かない？
」。
私のほうは、当然、「行きません」と即答。
男性は、その後、すぐ帰っていきました。
こういうのってどう思います？
女性が一人残っているのを知ったうえでオフィスに舞い戻って食事に誘うって、私は、正直、「気持ち悪い」と思ってしまったんですが・・・。
忘れ物とかあって戻ってきたのかもしれませんが、それならそれで、電話のときに言えよ。
食事に誘うためだけに戻ってきたのなら、電話の段階で誘えよ。
と思ってしまうんですが・・・。
私が気にしすぎですか？