Já foi crime, amigo:

"Art. 240 - Cometer adultério:
Pena - detenção, de 15 (quinze)

dias a 6 (seis) meses. -

Incorre na mesma pena o co-réu. A ação penal somente pode ser intentada pelo cônjuge ofendido, e dentro de 1 (um) mês após o conhecimento do fato."

Mas deixou de ser crime em 2005.