Лида — по достоверным источникам была заложена в XIV в. на реке Лидеи, на границе Литвы и славянских земель. Главным сооружением была крепость, или замок.

Город Лида, возникнув у замка, по природно-топографическим условиям мог развиваться территориально только в одном направлении — на возвышенности между поймами небольших рек Каменки и Лидеи. Основная улица поселения с важнейшими зданиями (ратуша, торговые ряды, комплексы культовых построек) взяла свое начало от замка и протянулась по водоразделу. Теперь это главная улица города — Советская, головной отрезок которой является стержнем исторической части города.

Время и войны не пощадили все исторические достопримечательности Лиды. До наших дней кроме замка сохранились только два монументальных памятника зодчества: бывший фарный костел 1770 г. (зрелое барокко) и бывший Иосифовский костел пиаров, 1797—1825 гг. (классицизм) — ротондальная постройка, ныне приспособленная для планетария. Оба памятника располагаются в историческом центре, на ул. Советской недалеко от замка.

Крепость была построена в 1323—1325 гг. князем Гедимином и на протяжении нескольких столетий оставалась мощной цитаделью на западных землях Беларуси.

Многочисленные осады, которые выдерживала крепость, привели к повреждению стен, разрушению башен и полному уничтожению ее застройки внутри.

Крепость заложена на насыпном холме высотой 5—6 м в окружении рва и водоемов. Ее план в виде прямоугольника, близкого к квадрату, имеет площадь около 0,6 га. Толщина стен у основания достигает 2 м при высоте более 12 м. Верхняя часть стен, углы и обрамления проемов облицованы кирпичом, основной массив крепости сложен из крупных камней-валунов.

Две башни, прямоугольные в основании, располагались в углах по диагонали, выдаваясь во двор. Их верхние этажи были приспособлены под жилье. На территории крепости в прошлом находились православная церковь (в 1533 г. перенесена в город), жилые и хозяйственные постройки. В архитектуре сооружения наряду с готикой встречаются формы романского зодчества, что было обычным для ранних произведений монументального строительства на белорусской земле.

Ныне Лидский замок находится в стадии реставрации. Археологическими раскопками выявлены его внутренняя планировка, фрагменты башен, уточнены многие архитектурно-планировочные, конструктивные и отчасти художественные характеристики, что используется при восстановлении памятника.