O Cruzeiro foi fundado no dia 2 de janeiro de 1921, por desportistas da colônia italiana de Belo Horizonte, com o nome de Societá Sportiva Palestra Itália. As cores adotadas, como não poderia deixar de ser, foram as mesmas da bandeira italiana: verde, vermelho e branco. Em 1922, o clube compra um terreno pertencente à prefeitura, onde hoje fica o Parque Esportivo do Cruzeiro. Em 23 de setembro de 1923, inaugura seu estádio, no Barro Preto, construído por jogadores e associados a maioria da colônia italiana de Belo Horizonte, composta em grande parte por operários de construção civil.
Além de se caracterizar como uma equipe de descendentes de italianos, o Palestra também destacava-se por possuir elementos da classe trabalhadora da cidade. No corpo social do Palestra, prevaleciam homens da profissão de pedreiros, policiais, pintores, comerciários e marceneiros, que eram os filhos dos imigrantes que vieram construir a capital do estado de Minas Gerais, Belo Horizonte, em 1894, e que herdaram de seus pais a mesma profissão.
O primeiro uniforme do clube foi camisa verde, calção branco e meias vermelhas. O clube foi restrito apenas a participação de elementos da colônia até o ano de 1925, quando é retirada do estatuto do clube uma cláusula que impedia a inscrição de atletas e associados que não fossem de origem italiana. Isso abre as portas para colaboradores de qualquer origem.
Há uma confusão no que diz respeito a um clube existente na capital chamado Yale. Muitos imaginam que este deu origem ao Palestra e posteriormente ao Cruzeiro. O Yale também era um clube fundado por descendentes de italianos, que surgiu anos antes do Palestra. Mas, após uma crise, e com o crescimento do outro clube de imigrantes em Belo Horizonte, grande parte dos associados e jogadores do Yale migraram para o Palestra. O Yale foi dissolvido em 1925. Foram registrados até hoje apenas três jogos entre os clubes, são eles: Palestra 3 x 0 Yale, Palestra 5 x 1 Yale e Paletra 3 x 2 Yale.
A primeira consquista significativa do Palestra é o tricampeonato mineiro entre 1928 e 1930, sendo os dois últimos de forma invicta. O crescimento do time na cidade força as outras grandes equipes da época a se organizarem e em 1933 criam a primeira liga profissional do estado, a Associação Mineira de Esportes.
Em 1942, quando o Brasil declarou guerra à Alemanha e à Itália, os italianos de Belo Horizonte ficaram em situação difícil. E, para evitar maiores problemas, o Presidente Ennes Cyro Poni resolveu, arbitrariamente e sem consultar o Conselho Deliberativo, mudar o nome Sociedade Esportiva Palestra Itália para Ypiranga.
Esse nome não teve, porém, as simpatias do Conselho, o qual, pela palavra do Presidente do Conselho, Dr. Oswaldo Pinto Coelho, desaprovou-o, sendo escolhido por unanimidade o de Cruzeiro Esporte Clube. Ao mesmo tempo, eram mudadas as cores do clube, que passaram de verde e vermelho para alvi-celeste, camisa azul com escudo em formato circular, também azul, tendo ao centro um dos principais símbolos do país: a constelação do Cruzeiro do Sul.