質問には絶対答えなくてはいけないのですか?

「わかりません」、「言いたくありません」という答え方もあります。ジェスチャーや、ため息でさえ、立派な答えです。また、言いたくない部分だけ、「あのこと」や、「ぺけぺけ」としてもよいでしょう。