君を愛する事は無いと言われたので構いませんと答えたら相手が不穏になってしまいました

婚約したばかりの婚約者との二人きりのお茶会。
彼は開口一番に「君を愛する事は無い」なんておっしゃいました。
これは家同士の政略結婚ですし、わざわざ言う必要のない事ですわ。
愛が無くても信頼関係があれば良いと思いましたがしかたありませんね。
「愛さないのは構いませんが、財産管理は出来ますの？」
彼はとてもムッとした顔をした。
「私が財産目当てだと？」
ではどういう意味でそんな言葉をおっしゃりましたの？