委員は、次の各号のいずれかに該当する場合においては、その職を失うものとする。
第三十九条第二項各号のいずれかに該当するに至つた場合
当該都道府県の議会の議員の被選挙権を有する者でなくなつた場合（第三十九条第一項ただし書に規定する委員については、当該指定市の議会の議員の被選挙権を有する者でなくなつた場合）
都道府県知事は、委員が心身の故障のため職務の執行ができないと認める場合 又は委員に職務上の義務違反 その他委員たるに適しない非行があると認める場合においては、当該都道府県の議会の同意を得て、これを罷免することができる。
但し、第三十九条第一項但書に規定する委員の罷免については、道、府 又は指定県の知事は、当該指定市の市長に対しその市の議会の同意を得ることを求めるものとし、その同意があつたときは、これを罷免することができる。
指定県以外の県の知事は、委員のうち二人以上が同一の政党に所属するに至つた場合においては、これらの者のうち一人をこえる員数の委員を当該県の議会の同意を得て、罷免する。
都、道、府 及び指定県の知事は、委員のうち三人以上が同一の政党に所属するに至つた場合においては、第九条第三項各号の規定の例により、そのこえるに至つた員数の委員を、当該都、道、府 又は指定県の議会の同意を得て、罷免する。
但し、新たに同一の政党に所属するに至つた委員のうちに第三十九条第一項但書に規定するものを含むときは、これらの委員のうち罷免すべきものは、くじで定める。
都道府県知事は、委員のうち一人（都、道、府 及び指定県にあつては二人）がすでに所属している政党に新たに所属するに至つた委員を直ちに罷免する。
前四項の場合を除く外、委員は、その意に反して罷免されることがない。