Os Carmelitas nasceram, pelos finais do século XII, de um grupo de leigos, peregrinos e cruzados que, cansados da guerra ou desejosos de aguardar a definitiva vinda do Senhor que, segundo a mentalidade apocalíptica, teria lugar em Jerusalém, se retiraram para a montanha do Carmelo, onde adotaram o estilo de vida eremítico, frequente na altura, como oposição e reforma ao movimento monástico. Estes primeiros Carmelitas dedicaram-se à oração e à meditação da Palavra de Deus.
Aqueles primeiros carmelitas, eram eremitas que procuravam a perfeição através da solidão. Procuravam lutar contra o diabo e contra todos os inimigos do homem verdadeiramente cristão: as paixões.
Entre 1206 e 1214, pediram a Alberto Avrogardo, patriarca de Jerusalém, que lhes desse uma Regra, uma fórmula de vida, pela qual organizar-se. Nela se define o ideal carmelita de “viver em obséquio de Jesus Cristo, servindo-O fielmente com coração puro e boa consciência”.
A falta de segurança na Terra Santa faz com que, a partir de 1220, os Carmelitas comecem a emigrar para a Europa estabelecendo-se em Chipre, Sicília, França e Inglaterra. Em 1291 termina a presença dos Carmelitas no Monte Carmelo.
A Ordem do Carmo, com as suas origens eremíticas, adota o esquema de vida mendicante com a mitigação da Regra, por parte de Inocêncio IV, em 1247. É agora permitido fundar os seus conventos nas cidades e dedicar-se à pregação e a confessar da mesma forma que as outras ordens Men¬dicantes. Só no II Concilio de Lião são oficialmente considerados Mendicantes.
Estabelecidos na Europa, e procurando sinais de identidade, desenvolveram a devoção ao profeta Elias, como protótipo de ermita dedicado completamente à contemplação e por outro lado como modelo de vida mista que conjuga a ação e a contemplação.
Da mesma forma desenvolvem a piedade mariana tornando-se a Ordem da Virgem. É com o estabelecimento na Europa que se generaliza o título com que oficialmente se conhece a Ordem: Irmãos da Bem-aventurada Virgem Maria do Monte Carmelo.
Aqueles carmelitas dos últimos tempos medievais, que pretendiam viver em obséquio de Jesus Cristo, caracterizaram-se pela contemplação (fundamento da vida e do apostolado do carmelita), pela oração (e com ela a meditação, o recolhimento e o silêncio), pela ascese (que implica a sobriedade de vida, a pobreza, a vida humilde e de dependência dos outros), e pelo apostolado (tanto nas suas igrejas como fora delas).