犯罪について

夫はわいせつに関する罪で50万円の罰金刑を受けました。私としてはショックで本当に離婚を考えているのですが、調停員の方にこの程度では離婚は難しいと言われました。2度目もあれば、別ですがと。結局は犯罪でも1回ならその位は我慢しなさいという事ですよね？妻である私は相当ショックを受けたのですが、犯罪でも一度なら許されるなんて信じられないです。