A cidade tem sua origem relacionada à descoberta de diamantes no final do Século XVIII, que atraiu pessoas tanto do Brasil como de diversos países da Europa para a região.
Em 1858, Grão Mogol recebe a categoria de cidade e logo depois, a partir de 1960, vê iniciar-se o processo de decadência da exploração da pedra preciosa.
Existem duas versões quanto à origem do nome Grão Mogol. A primeira está relacionada com a descoberta, em 1550, de um grande diamante encontrado na Índia, que ganhou o nome de Grão Mogol.
A outra diz que como aconteceram inúmeros conflitos, desordens e assassinatos na região. Por conta disso começaram a chamá-la de “Grão Amargor”, que modificado localmente teria se transformado em Grão Mogor e depois assumido a denominação atual.