La manera más sencilla de hacer esto es a través de un plugin, y hay dos que destacan especialmente por su sencillez y su eficacia.
Si no tienes demasiado manejo con WordPress y buscas algo sencillo, lo mejor que puedes hacer usar este plugin. Cambia simplemente el sistema de comentarios que está por defecto en WordPress por el de Google +. Simplemente eso. Pero lo cierto es que muchas veces no necesitamos más.
Un plugin mucho más completo. Comments Envolved coloca una pestaña en la sección de comentarios que permite a nuestros lectores decidir si nos deja un comentario desde la sección de siempre de WordPress, desde Facebook o desde Google +. De esta manera estaremos dejando a los usuarios la posibilidad de decidir desde dónde comentan, lo que les invitará aún más a darnos su opinión sobre nuestros posts.
No es demasiado complicado de utilizar y puede ser muy útil. Si quieres también puedes dejar solamente un sistema de comentarios, algo que se puede cambiar desde la administración del plugin una vez que lo hayas instalado.