丈夫有外遇我同丈夫巳结婚20年,大儿…

丈夫有外遇我同丈夫巳结婚20年,大儿子上大学,小儿子上初中,一直以来我丈夫在外面都有其它女人,现在还为了不令4年前搞上的一个巳离婚的女人难过,从2010年3月巳住在一起,我想协商离婚,但他不置可否,照样同他的居,时不时回家一次,他家人也多少说他不听,我巳没法再有在一起生活的可能,请问律师,是否一定要起诉,有没有更好的办法