Sim, se você tiver nutrindo algum sentimento pela pessoa tu deveria se afastar. Mas caso

seja só um "ficante" e vocês estiverem na mesma não vejo o porque se afastar desde que seja só isso.