В XIX веке на месте города жили подроды караке, сармантай и мурат рода алтай-карпыки племени аргын^[8]. Существует легенда, что в 1833 году мальчик-пастух Аппак Байжанов нашёл уголь. В конце XIX века проводились геологические изыскания, а в начале XX века началась добыча угля сначала русскими купцами, затем французскими и английскими предпринимателями.

Первые русские переселенцы^[9] прибыли из Екатеринославской (62 семьи), из Ставропольской - 21, области Войска Донского - 17, Киевской губернии - 16, Воронежской - 5, Смоленской - 4, Харьковской - 3, Пермской и Таврической - по 2. Кроме этого по одной семье прибыли из Казанской, Курской, Орловской, Оренбургской, Херсонской губерний. Они приехали по Столыпинской аграрной реформе в 1906 году и основали посёлок Михайловка (Казыбекбийский район (Караганда))^[9], после были основаны Тихоновка, Зелёная балка и Новоузенка. После революции, в связи с уходом англичан, добыча временно была остановлена. Территориально входила в состав Спасской волости Акмолинского уезда Акмолинской области.

В 1930 году была возобновлена активная добыча угля и началось строительство временных жилищ типа глинобитных полуземлянок для сосланных (раскулаченных) граждан СССР и их семей. Затем были построены посёлки Майкудук, Новая Тихоновка и Пришахтинск, в которых поселилась основная масса вновь прибывших рабочих и специалистов. Значительно выросло население и в старых посёлках.

20 марта 1931 года КазЦИК постановил образовать Карагандинский рабочий Совет с самостоятельным бюджетом с непосредственным подчинением КазЦИКу. Его центр находился в селе Большая Михайловка, вошедшем позднее в состав города. В 1931 году шахтёрское поселение Караганда преобразовано в рабочий посёлок. Первым председателем поселкового совета с 1930 по 1931 год и с 1931 по 1932 год городского совета назначен Шектыбаев Карибоз (1897—1938 гг.), уроженец Шетского района Карагандинской области.

10 февраля 1934 года Президиум ВЦИК постановил: «1. Преобразовать в города нижеследующие населённые пункты Киргизской АССР (куда входила и Каракиргизская АО): б) в Тельманском районе, Карагандинской области, возникший на территории строительства государственного треста по эксплуатации Карагандинского каменноугольного бассейна населённый пункт, присвоив ему название Караганда»^[10].

С началом Великой Отечественной войны тысячи карагандинцев ушли на фронт.

В 1950-х годах в городе произошли две катастрофы — крушение самолёта Ил-12 и взрыв на заводе 4-Д.

В 1974 году 66 предприятий и организаций, в том числе 3 разреза и 26 шахт, объединились в ПО «Карагандауголь».

Распад СССР сильно сказался на шахтёрской столице Казахстана, — 1990-е годы для Караганды оказались самыми трудными в XX столетии после революционных 1920-х и военных 1940-х. Бо́льшая часть предприятий угольной и обслуживающей её промышленности сократила или остановила производство. Некогда называемая третьей кочегаркой страны, Караганда на начало XXI века добывает лишь малую часть того угля, что добывалось при СССР.