Como posso romper uma amizade com um amigo?

Tenho um amigo que me considera um dos brothers dele e me conta assuntos que acredito que uma amiga não deveria ouvir como sobre as ficantes dele e sobre sexo e sex shop. Gosto da amizade dele (desde que ele não fale sobre essas coisas) mas sinto que preciso me afastar dele e não sei como fazer isso.
Obs: nunca tive muitos amigos e então não sou experiente em cortar amizades