Fabricantes de lápis foram registrados pela primeira vez na cidade imperial de Nuremberg por volta do ano de 1660. Diversos artesãos montaram oficinas nas vilas das redondezas, mas especialmente em Stein, justamente dentro do marquesado de Ansbach. Aqui, artesãos não eram sujeitos aos mesmos controles estritos de Nuremberg, então eles tinham uma vantagem competitiva.

Um deles era o marceneiro Kaspar Faber. Inicialmente, ele trabalhava para comerciantes locais, mas em seu tempo livre ele produzia lápis por conta própria. Logo, ele se tornou tão bem-sucedido que em 1761 ele foi capaz de abrir seu próprio negócio. A partir destas origens humildes foi desenvolvida uma companhia conhecida pelo mundo todo.

Em 1839 Lothar Faber tornou-se chefe da empresa. Com uma vontade forte, ele seguiu um objetivo ambicioso: "subir para a posição mais alta, fazendo o melhor que pode ser feito em qualquer lugar do mundo".

Ele modernizou a planta de produção e assegurou a utilização de matérias-primas de primeira classe a partir de uma mina de grafite na Sibéria. Ele não só inventou o lápis hexagonal, mas também estabeleceu normas para comprimento, espessura e dureza. Ele também foi o primeiro fabricante a marcar seus produtos com o nome da empresa. Seus lápis, portanto, não se tornaram os primeiros utensílios de escrita de marca, mas estavam entre os primeiros artigos de marca no mundo.
 
Em 1849, ele abriu uma filial em Nova York. Empresas controladas em Londres, Paris, Viena e São Petersburgo foram o passo seguinte.

Em 1898, a herdeira de Lothar von Faber, a Baronesa Ottilie von Faber, era casada com o Conde Alexander zu Castell-Rüdenhausen, um descendente de uma das famílias aristocráticas mais antigas da Alemanha.

De modo a reter uma identidade de empresa familiar, Lothar von Faber tinha estipulado em seu testamento que caso sua herdeira se casasse, ela deveria manter o nome da família. Naquela época, isto era uma decisão extremamente incomum, que exija a aprovação da realeza. Mas esta é a razão pela qual Alexandre e Ottilie não são conhecidos como "Conde e Condessa zu Castell-Rüdenhausen” mas como Conde e Condessa von Faber-Castell.

Foi assim que o nome da família Faber-Castell surgiu, um nome que também foi aplicado aos negócios e à marca.

Em 1900, o Conde Alexander zu Castell-Rüdenhausen juntou-se ao conselho de administração, o qual ele finalmente dirigiu em 1903.

Naquele mesmo ano, a pedra fundamental para o grandioso "New Castle" foi lançada - um monumento único em Jugendstil (estilo art nouveau alemão).

A empresa floresceu novamente sob o comando do Conde Alexander. Ele deu a ela uma imagem mais moderna e inconfundível, com o famoso lápis “Castell 9000” verde e o logotipo dos cavaleiros duelando.

Após a morte do Conde Alexander em 1928, seu jovem filho Roland virou o diretor da empresa. Em 1932, a Faber-Castell assumiu a fábrica de lápis de Johann Faber (fundada pelo irmão de Lothar von Faber em 1879) e com isso a subsidiária brasileira Lápis Johann Faber. Em 1950, a Faber-Castell adquiriu a empresa Osmia e passou a produzir canetas-tinteiro em seu próprio nome; a produção cessou em 1975.

Novas subsidiárias estrangeiras foram fundadas entre 1960 e 1977, por exemplo, na França, Áustria, Austrália, Argentina e Peru.

Em 1967, o Conde Roland conseguiu comprar de volta a parte majoritária da Lápis Johann Faber S.A. em São Carlos, que tinha sido confiscada durante a Segunda Guerra Mundial. É hoje a maior fábrica de lápis do mundo.

O Conde Anton Wolfgang von Faber-Castell tornou-se chefe da empresa em 1978 e no mesmo ano passou a produzir lápis de madeira para a indústria de cosméticos. Ele vem incidindo fortemente na expansão internacional, desenvolvimento sustentável e responsabilidade social.

Nas duas décadas seguintes, diversos novos escritórios e fábricas foram fundados mundialmente, incluindo a que hoje é a maior fábrica de borrachas no mundo, na Malásia, em 1980.

Os aspectos ambientais tomaram um lugar cada vez mais proeminente na forma corporativa de pensar, com um projeto único florestal no Brasil (produzindo as ripas para muitos milhões de lápis de madeira), o desenvolvimento da tecnologia de tinta à base de água favorável ao meio ambiente, e uma nova fábrica de produção na Costa Rica para ripas e lápis feitos de madeira ecológica certificada.

Em 1993, a Faber-Castell empreendeu uma reestruturação lógica da sua imagem corporativa e de marca, dividindo-se o sortimento de produtos em cinco áreas de competência. Em março de 2000, a Faber-Castell e o sindicato União Industrial dos Metalúrgicos assinaram conjuntamente uma "carta social", com validade internacional, de acordo com as diretrizes da Organização Internacional do Trabalho (OIT). Em julho de 2003, a Faber-Castell juntou-se ao "Pacto Global" das Nações Unidas, que se esforça para valores comuns de negócios em todo o mundo.