První zařízení se vyznačovala velmi jednoduchou konstrukcí a vycházela z mechanických principů. Vývoj těchto zařízení pokračoval až do poloviny 20. století. Postupně se formovaly dva typy zařízení: analogové a číslicové počítače. Analogové počítače nevyužívají práci s čísly (nulou a jedničkou), nýbrž pracují s fyzikálními veličinami, například s elektrickým napětím, proudem či mechanickou silou. Naproti tomu číslicové počítače realizují výpočty prostřednictvím číselných hodnot, zpravidla ve formě binárního kódu (0 a 1), a fungují na základě logických operací a přesně definovaných kroků. V důsledku těchto vlastností analogové počítače téměř zanikly a dnes se uplatňují pouze ve specializovaných oblastech.
Abakus vznikl zhruba před 5000 lety. Je prvním známým nástrojem, který usnadňoval počítání s čísly. Umožňuje provádět základní aritmetické operace – sčítaní, odčítání, násobení i dělení a to pomocí posouvání kamínků nebo korálků na tyčkách nebo drážkách. Je to předchůdce mechanických kalkulaček. Ve starověkém Řecku a Římě se používala dřevěná nebo hliněná destička. Říkalo se jí „calculi“ – odtud název kalkulačka.
V roce 1614 představil skotský fyzik a matematik John Napier novou matematickou metodu, která umožňovala provádět násobení a dělení prostřednictvím sčítání a odčítání za využití logaritmů. Na základě tohoto objevu byly v Anglii nejprve vytvořeny logaritmické tabulky a následně také logaritmické pravítko, v němž byla reálná čísla znázorněna vzdáleností na stupnici. Toto pravítko se s minimálními změnami používalo přibližně dalších dvě stě let při výpočtech, které nevyžadovaly vysokou přesnost. V sedmdesátých letech 20. století bylo postupně nahrazeno kapesními kalkulačkami
První mechanické zařízení, které zřejmě sloužilo k výpočtům, byl Mechanismus z Antikythéry (podle řeckého ostrova Antikythera). Vzniklo někdy mezi roky 150 - 100 př. n. l. Pravděpodobně sloužilo k výpočtu kalendáře, tj. k výpočtu polohy Slunce, Měsíce a planet. Mechanismus se skládal z více než třiceti ozubených koleček seřazených v rovnostranných trojúhelnících a je nejspíše založen na heliocentrickém principu (Země obíhá kolem Slunce). Další známý mechanický kalkulátor sestavil v roce 1623 německý konstruktér Wilhelm Schickard z ozubených koleček z hodinových strojků. Často je proto označován jako „počítací hodiny“. Tento mechanismus uměl sčítat a odčítat šesticiferná čísla a měl ho při svých astronomických výpočtech používat německý fyzik, matematik a astronom Johann Kepler.
V roce 1642 sestrojil francouzský matematik a fyzik Blaise Pascal počítací stroj nazývaný Pascalina, který je považován za první skutečný počítací stroj. Na jeho práci navázal v roce 1671 německý vědec a matematik Gottfried Wilhelm Leibniz. Přibližně kolem roku 1820 pak francouzský vynálezce a podnikatel Charles Xavier Thomas vytvořil první sériově vyráběný kalkulátor, známý jako Thomasův arithmometr. Tento kalkulátor byl z velké části založen na konstrukčních principech Leibnizova stroje.
V roce 1725 využil francouzský vynálezce Basile Bouchon děrovaný papír k řízení tkalcovského stavu. Již o rok později tuto myšlenku rozvinul další francouzský vynálezce Jean-Baptiste Falcon, který jednotlivé papírové karty vzájemně propojil, čímž výrazně usnadnil úpravy a změny programu. Roku 1801 následně francouzský vynálezce a tkadlec Joseph Marie Jacquard zavedl v tkalcovském stavu použití děrných štítků, tedy média pro záznam dat, které bylo možné měnit bez zásahu do mechanické konstrukce stroje. Tento krok je považován za významný milník v oblasti programovatelnosti strojů. Děrné štítky později, v roce 1835, využil anglický vynálezce a vizionář Charles Babbage k programování mechanického kalkulátoru. Štítky obsahovaly různé kombinace otvorů a umožňovaly opakované použití zaznamenaného obsahu. V roce 1890 uplatnil děrné štítky k uchovávání dat a jejich následnému zpracování německo-americký statistik a vynálezce Herman Hollerith, díky čemuž zvítězil ve Spojených státech v konkurzu na sčítání lidu. Jeho společnost se později stala základem dnes známé počítačové firmy IBM. Pro analýzu a další zpracování dat uložených na děrných štítcích byly postupně vyvíjeny specializované stroje, jako například děrovače, tabelátory a třídiče. Technologie děrných štítků následně umožnila návrh programovatelných strojů a v určitých specializovaných oblastech se s touto technologií můžeme setkat dodnes.