Em 1761, o carpinteiro Caspar Faber abriu uma pequena fábrica em Stein, cidade próxima a Nuremberg, Alemanha, onde produzia lápis e os vendia no mercado local. Esta é considerada a data de fundação da empresa.
Em 1905, Conde Alexander foi assim que surgiu o nome Faber-Castell, que também denominou a empresa e a marca.
Em 1928, Roland, filho do Conde Alexander, assume a administração da empresa. Ele assume a fábrica de lápis Johann Faber, fundada pelo irmão de Lothar von Faber, Johann, e com ela a subsidiária brasileira Lápis Johann Faber, em São Carlos, que se torna então a maior fábrica de lápis de cores do mundo. Novas subsidiárias estrangeiras foram fundadas na França, Áustria, Austrália, Argentina e Peru.