Como me afastar dele sem ser ignorante?

Cometi o erro de sair com um colega de trabalho que ainda por cima é casado, eu sou solteira então, se alguém descobrir ferra mais ele que eu, mas eu cansei e não quero mais sair com ele justamente por ele ser casado e eu não ter ele por inteiro, mas ele fica me paquerando quando estamos sozinhos e eu não sei como reagir, e acabo sedendo, eu não quero que fique um clima chato entre a gente mas também não quero mais essa a proximidade porque a única que acaba se machucando sou eu