Есть замечательный самоклеющийся утеплитель.
Внешне напоминает двойной усечённый шланг маленького диаметра. Мягкий, полый внутри. За счёт эластичности легко принимает форму и заполняет собой пространство зазора между рам. За счёт полости и воздуха в ней - сохраняет тепло. Продаётся в хозяйственных на метры, поэтому следует тщательно замерить периметр окна. А подробнее, как клеить можно узнать у продавца, хотя ничего сложного в процессе утепления нет.
Утеплитель имеет довольно эстетичный вид, поэтому стесняться того, что у вас "некачественное окно, заклеенное утеплителем", Вам не придётся.
Чтобы не возиться, можно по-старинке использовать скрутки из газеты. Они, как ни странно, очень здорово держат тепло.
Щели по периметру окна можно зашпаклевать. Выбить куски цемента, которые плохо держатся и заполнить их места монтажной пеной или смесью цемента с ПВА.