據史料記載,周宣王派大將南仲率大軍討伐居于陰山河套地區的獫狁(xiǎn yǔn)之族,并在包括今臨河地區在內的朔方筑城防守。戰國時代,趙武靈王君臨河套,“至高闕為塞”,修筑九原城,臨河屬九原城之西部地。
漢武帝元朔二年,即公元前127年,武帝命大將軍衛青統兵十萬出云中(趙武靈王設置的云中郡,郡治在云中城,就是現今托克托縣古城鄉的古城),北伐匈奴,收復當時被匈奴占領的黃河北河(烏加河)以南平原地區,稱“河南地”。漢王朝在河南地置朔方郡,下領十縣,臨河縣是其中之一。其縣城筑于今新華鎮境內,隸朔方刺史郡統領。東漢末年,朝廷腐敗,匈奴再度南下。至獻帝建安年間,臨河縣廢。直至三國及晉初,臨河地區長期為匈奴牧地。西晉永嘉以后,臨河地區又迭次為前趙、后趙、前秦、后秦、赫連勃勃夏屬地。
南北朝時,北魏政權設立鎮,臨河地域屬沃野鎮轄區。隋初屬豐州,大業三年(607年)撤州置郡,屬五原郡。唐初隸關內道,貞觀中改州置郡,屬九原郡。景龍二年(708年),張仁愿筑三受降城,臨河屬西受降城。宋、遼、金、夏時,皆為西夏屬地。元滅西夏,設云內州,臨河地區屬云內州之大同路。明初,地屬寧夏衛。未幾,即入北元蒙古部屬。北元中興之主阿拉坦汗曾駐牧河套地區。清初,分屬伊克昭盟鄂爾多斯左翼后旗和右翼后旗。乾隆以后,置道設廳,隸歸綏道薩拉齊廳。光緒二十七年(1901年)隸五原廳。民國初年,改廳為縣,屬五原縣。民國十四年(1925年),析五原縣豐濟渠以西地置臨河設治局(籌備局),筑城強家油房(今城關鎮),直隸綏遠省。民國十八年(1929年)10月升格為縣。1949年9月19日,綏遠省國民黨軍政當局宣布起義,臨河縣屬綏西專員公署。1954年,綏遠省與內蒙古自治區合并。同年,陜壩專員專署改稱河套行政區,隸屬未變。1958年河套行政區與巴彥淖爾盟合并,臨河縣隸屬巴彥淖爾盟。1984年12月11日,臨河縣改為縣級市。2004年,巴彥淖爾撤盟設市,臨河市更名為臨河區。
臨河縣城原名叫強家油房,住戶僅強姓一家,平日以榨油賣油為業,故稱之為強家油房。其舊址就是當時東北角的一個大營房。據當時報載:民國十四年,西北軍進駐綏遠,綏遠當道(官職)任蕭振瀛(1926年參加五原誓師,被委任為宋哲元之西路軍軍法處長)為臨河設治局局長。下設民政、財務、建設、教育和承審處。劃設4個區、23個鄉(鎮)、356個村。蕭上任伊始,抱進取之壯懷,負建設之全責,以設治局住址強家油房為原案,親自測量定向,辨方立位,確定城基地址,劃定城基地20余頃,并為城的四門命名,東曰翼綏、南曰安瀾、西曰通寧、北曰敷化。出高價收買民間地產,民眾爭相獻納。劃地基、定民舍,限期建筑。又將縣城分為經路四條、緯路二十四條,還將壇廟、學校、官舍等規劃得井井有條。為確保工程順利進行,成立了董事會,當時四個區的區長——楊春林、李增榮、傅正業、陳占才均為董事。他們積極參與城垣的建設,可謂“大者總其成,小者執其藝,披星而作,戴月而息”。計時三月有余,筑室百余間。建筑時期,當地人奔走相告,前來觀看。可惜時入隆冬,筑城未到一半,中途停工。
待民國十六年夏,呂咸接任局長。鑒于城垣三尺、難以起到防御作用的實際,特意召開地方行政會議,以建城為先務,設立了城工建筑處。鄉紳李增榮負責安排部署工作,董事王侶輔佐。分工辦事,各區董事分別負責。呂局長早作夜巡,督促不停。各董事群力并進,各司其職,始終做到了“工無曠,料無減,費無糜”。經過兩個多月的施工,大功告成。這次筑城,共支款一萬八千元(銀元),由地方節省下的賦捐來補用,沒有加重百姓的負擔。
民國十七年秋,黃彥邦任局長主持工作。因縣西城頻遭水患,倡議加修護城壩,同時補筑城墻。議事剛定,黃彥邦很快就離任了。繼任者為彭繼先,他竭力主張原議任汪治泉區長為補城修壩的工程經理。于是,修城工作彌補其殘缺,將渠壩培高增厚。在彭繼光的謀劃領導下,在各鄉紳的協力贊助下,工程圓滿竣工。從此,金湯鞏固、堤防永安。臨河縣城初具規模。