Antigo presídio da Ilha Grande
Em 1903 foi instalada oficialmente a Colônia Penal de Dois Rios, na Ilha Grande, que serviu de presídio às pessoas julgadas por crimes comuns.
Em 1940 o Lazareto foi outra vez reformado e modificado para transformar-se então em presídio – Colônia Penal Cândido Mendes, que recebeu os presos comuns que estavam na Colônia de Dois Rios, a fim de que essa última abrigasse os presos políticos da 2ª Grande Guerra Mundial. Paralelamente à reforma do Lazareto e à de Dois Rios, em 1940, foi iniciada a construção da estrada que liga Abraão a Dois Rios. A construção foi feita com mão de obra dos presos comuns. É sabido também que políticos, espiões, colaboradores de governos estrangeiros e célebres escritores passaram períodos de suas vidas na Colônia de Dois Rios. Alguns acabaram estabelecendo-se definitivamente na Ilha, outros deixaram para a posteridade, em seus livros, as amargas recordações do cativeiro. Dentre eles estão Graciliano Ramos e Orígenes Lessa (escritores) e os revolucionários Flores da Cunha, Agildo Barata e outros mais.