Prvo sjedište kompanije bilo je u gradiću Endicottu, na pola puta između New Yorka i kanadske granice. Endicott je i danas slavan kao kolijevka IBM-a. Čovjek koji je najzaslužniji za uspon IBM-a bio je slavni Thomas J. Watson, glavni direktor od 1914. do 1956. godine, kojeg su nazivali najvećim trgovcem na svijetu. On je preuzeo kompaniju kad je imala 1.300 radnika, a napustio kad je dosegla 72.500 zaposlenika i posjedovala ili iznajmljivala 90 % svih tabulatora u SAD-u.

Danas se po njemu zove superračunalo IBM Watson koji zapravo predstavlja umjetnu inteligenciju sposobnu odgovarati na pitanja postavljena na ljudskom jeziku. Danas je IBM druga najveća kompanija u SAD-u po broju zaposlenika (zapošljava preko 433.000 ljudi).