Quais livros são bons para aumentar o meu vocabulário para conversar com outras pessoas?

Qualquer um.
Alguma coisa vc sempre aprende num livro, sempre vai ter alguma palavra que vc não conhece e vai passar a conhecer.

Eu recomendo o livro:

A lei: por que a esquerda não funciona - Frédéric Bastiat

Se você ainda não tem o hábito da leitura, comece lendo livros como O MUNDO DE SOFIA, POLLYANNA.,,

Todo e qualquer tipo de livro terá palavras que você desconhece. Após a descoberta dessas palavras, o seu vocabulário será repleto de novas ideias.

Leia livros cujos vocabulários sejam mais complexos do que os seus, tome anotações e depois escreva textos incorporando esses termos e construções novas que você adquiriu. A prática leva à perfeição.

Livros do Realismo são bons pra isso.

Pega o básico da literatura brasileira e já tá muito acima da carne seca
De Machado de Assis a Guimarães Rosa

Dicionário.

Para aumentar o vocabulário, é melhor livros mais clássicos, de autores consagrados. Eles geralmente foram escritos em linguagem mais rebuscada que os best-sellers modernos.