Foi fundada por Kaspar Faber em 1761, em Stein e produzia apenas lápis. Em 1839, Lothar von Faber, bisneto de Kaspar Faber, o qual após um estágio de três anos em Paris, sucedeu seu pai Georg Leonhard Faber, assumindo a gerência da empresa. A companhia sempre foi comandada pela família. Em 1851, Lothar von Faber introduziu a forma de lápis em madeira Em 1898 surge o nome Faber-Castell, com o casamento de Ottilie von Faber com o Conde Alexander zu Castell-Rüdenhausen. Em 1905 o conde Alexander Faber-Castell lança o lápis Castell 9000, no mercado ainda hoje. Depois dos anos da depressão de 1929 a fábrica de lápis é assumida por Johann von Faber.