Os primeiros imigrantes italianos chegaram a Nova Milano em 1875, porém o centro da colonização italiana passou a ser o Campo dos Bugres, na região onde hoje é Caxias do Sul. As primeiras áreas colonizadas foram então, as de Caxias do Sul, Conde D’Eu e Princesa Isabel, hoje Bento Gonçalves.

    Devido à crescente imigração de europeus para o Brasil, foram abertas novas áreas de colonização. Por isso, em 1885, no governo de Dom Pedro II, foi criada a Colônia de Antônio Prado, por intermédio de Antônio da Silva Conselheiro Prado (Antônio Prado). Esta área pertencia então ao município de Vacaria. Em 1886, Camilo Marcantonio e mais alguns imigrantes saíram de Caxias do Sul e, seguindo a encosta do Rio das Antas, chegaram até a atual Linha Silva Tavares.

    O atual Município de Nova Roma do Sul, pelo seu relevo e por ser margeado por dois rios: das Antas e da Prata, foi dividido em uma linha nas terras que margeiam os rios e em sete linhas nas demais terras.

    Os primeiro imigrantes italianos chegaram nestas terras em 1888, porém, Nova Roma teve uma história um pouco diferente. Aqui a partir de 1888 já haviam se instalado imigrantes suecos, poloneses e russos. Tais imigrantes ocuparam principalmente a região de Bento Gonçalves.

    Em poucos anos, vieram em torno de trezentas famílias de eslavos, que com a chegada de imigrantes italianos migraram para novas áreas de colonização, como Nova Prata, Getúlio Vargas e Erechin. Em poucos anos os lotes foram ocupados. O imigrante que saia da Itália quase sem nenhum pertence, sonhava em ser proprietário no novo mundo. Porém, para chegar às novas terras era preciso enfrentar vários meses de viagem.

    As primeiras localidades que foram ocupadas pelos imigrantes italianos foram: Castro Alves e Nova Treviso. A primeira localidade a ser ocupada foi Castro Alves porque nela já haviam se fixado muitas famílias de eslavos, havendo inclusive um padre que os visitava esporadicamente. A segunda, por ter sido escolhida como sede da nova colônia. Foi ali demarcado um território urbano. Iniciou-se então uma forte rivalidade entre as duas localidades, pois cada uma das duas localidades queria ser a sede, na qual ficaria a paróquia. Os imigrantes sabiam que onde se instalasse o padre teria mais chance de expandir as atividades econômicas.

Para pôr fim a estas rivalidades, em 1899 o padre Alexandre Pelegrini, juntamente com um novo grupo de imigrantes, deixaram Antônio Prado e resolveram fundar a sede mais ou menos no centro desta região, entre Castro Alves e Nova Treviso. Surgiu assim, a Vila de Nova Roma. No dia 19 de janeiro de 1923 passou a ser o segundo distrito de Antônio Prado.

Por questões internacionais, ou seja, a Segunda Guerra Mundial em que o Brasil lutou contra a Itália, houve no Brasil a perseguição aos que falavam o dialeto italiano e o nome do segundo distrito teve que ser mudado para Guararapes, e após, para Guaicurus. Em 1949 o segundo distrito de Antônio Prado voltou a ser chamado de Nova Roma. E em 1989, Nova Roma do Sul, já como município.