É exagero meu ou estou certa em ter ciúmes?

Nossa que doente.

Não
Senão ele não falaria dela

Impossível dizer se têm um caso ou não, há pouca evidência disso. Mas parece que ele gosta dela. Gostar da pessoa, sentir atração, e realmente tentar algo, são coisas que podem acontecer em paralelo mas também pode acontecer de uma coisa puxar a outra.

Eu não vejo problema em ele gostar dela e eles terem alguma proximidade. MAS, se a pessoa começa a ficar MUITO próxima, pode acabar despertando um desejo sexual, e isso é um problema mesmo se não houver a intenção de trair.
Eu digo porque já aconteceu comigo, eu tinha uma amiga que a gente foi ficando mais próximo e eu passei a ter vontade de ficar com ela, mas não era assim no início e nunca tive a intenção, daí eu conversei com ela a respeito disso e falei que iria me afastar um pouco e ela entendeu.

Acho que o melhor a se fazer é conversar com o seu marido. Chega pra ele e conversa, sem querer arrumar briga, sem querer apontar o dedo na cara dele, etc. Fala assim: "olha, eu sei que vc e fulana se dão bem e tal, mas eu tenho medo de vcs começarem a gostar um do outro de um jeito diferente, então por favor, tome cuidado e não se aproxime demais dela, porque ninguém manda mo coração e você pode acabar querendo ficar com ela depois".

Aprendi na prática que homem pode sim ter amiga mulher, mas quando se é casado não pode deixar a relação se estreitar demais. Num momento que ocorre algum atrito no casamento, que é normal, a pessoa inconscientemente pode ver a amiga de outro jeito.

Se você acha que eles estão tendo um caso só por ela elogiar seu bebê, pode ser porque ou você é uma pessoa muito ciumenta e insegura, ou ele já te deu outros indícios que pode estar sendo infiel.

Você está pirada de ciúmes, mas pra aliviar tudo isso tenho uma solução:

CHAMA NO MENAGE.

Da parte dela não dá pra dizer mas seu marido parece bem interessado nela né?

Pouco difundido pra uma resposta concreta, mas por que caralhos ele comenta sobre a amante com você?

Será que é por causa do aniversário que ela quer ir e ele não quer deixar suspeita ou por que realmente não tem nada demais?

Não moça tem nada ver

Você é corna, Mulher.

Experiencia própria que não terminou nada bem, marido quando começa a falar muito em colega de trabalho e ela fazer questão de começar se enfiar na vida do casal, é porque eles tem um caso sim. Conheço duas situações exatamente assim que terminaram em divorcio e quase morte.

Não, ela simplesmente achou a filha de vocês fofa.
Ela é colega de trabalho dele é normal a gente se relacionar com as pessoas que trabalhamos (amizade)