>>973
someone who was very worried underneath.（内心とても不安な人間）
が意味はひとまとまりですよ。
そういう人間の brittle confidence （これは辞書通り、もろい自信）

内心は不安な人間特有の自信のもろさが彼の話にはあった、と言う意味。

ただ、自信無さそうに話したと言う意味か、一見自信ありげに話していてもその自信は日はもろいものだ、という意味かは、どっちかわからない。（私にはどちらにも読めるセンテンス。）