Остеклить балкон, законопатить все щели, из которых сквозит (в идеале - нормально утеплить) и всю зиму держать дверь приоткрытой. У меня так овощи хранятся, георгины зимуют и кактусы почти до Нового Года стоят, цтобы завели, а квартира через балконную дверь проветривается. Или наоборот, продукты отправить на балкон, им колебания температуры не так страшны. Можно вспомнить опыт наших бабушек и пробабушек, вообще обходившихся без холодильников.

"Утепление" вашей коробки, (а вернее термоизоляция) не греет нисколько, как вы сами понимаете. При хорошей термоизоляции в коробке установится и будет поддерживаться среднесуточная температура. Когда снаружи среднесуточные температуры опустятся ниже безопасных для ваших муравьёв, то и в коробке вскоре будет то же самое.
Тут можно порекомендовать единственный выход - активный подогрев с терморегулятором. Как его осуществить - вопрос наличия средств и/ или прямизны рук. Можно купить готовый нагреватель (термошнур, термоковрик, что-то ещё) и регулятор, а можно всё это собрать самому (рассчитать длину и сечение нихромовой проволоки, например, найти и расковырять что-нибудь, из чего её извлечь; поместить её в некий контейнер, скажем, в пробирку с песком, как раньше делали аквариумные грелки; найти компоненты, собрать регулятор; продумать и протестировать систему - обогреватель должен быть как-то достаточно изолирован от муравьёв, чтобы в моменты включений не поджарить их.) Немаловажно - обогреватель должен быть достаточно мощным, чтобы поддерживать в течение нескольких дней безопасную температуру для муравьёв при снижении среднесуточной за окном, скажем, до - 30. Ну, или какие в вашей местности бывают экстремумы. (Посмотреть статистику метеоданных по любой точке можно на погодных сайтах, например, rp5.ru.)
Ещё стоит, наверное, продумать резервное питание для нагревателя, на случай перебоев с электричеством. Какой-то буферный аккумулятор. А то всякое случается...

Да разве ж это куча? ))
Ну, вот другой вариант:
если окна в квартире не супер мега изолированные, и на подоконнике наблюдается заметное понижение температуры, то можно попробовать сделать некий зимовальный ящик, изолированный от воздуха квартиры, но слабо изолированный от окна, щелей всяких. Вот у меня окна такие себе, и, мне кажется, при таком подходе и слабо минусовых забортных температурах можно было бы добиться градусов +10-12.
Но, конечно, надо обязательно мониторить температуру внутри ящика и предусмотреть какой-то вариант простейшей регуляции. (Скажем, дверку в стенке, которую открывать при опасном снижении температуры, запуская туда тёплый воздух из комнаты.)

Вот вам ещё третий вариант. Не очень бюджетный, правда.
Можно купить автомобильную сумку-холодильник с охлаждением на элементах Пельтье. Их сейчас есть в продаже великое множество.
Вот, я имею опыт использования такого, например. (Я его приобретал не для муравьёв, конечно, а чтобы генетические пробы в полевых условиях сохранять.)
Заявлено, что охлаждает на 15 градусов ниже внешней температуры. Точно я не замерял, но охлаждает, в этом нет сомнений. Модель очень дешевая (весной тысячи 3 с чем-то стоил), хлипкая, при переноске кажется, что того и гляди развалится. Но при стационарном использовании это не имеет особого значения.
Можно поискать в этом направлении автохолодильники меньшего объёма, меньшей мощности.
Ну, или заморочиться с "кучей электроники", приобрести отдельно элементы Пельтье и собрать свой собственный охладитель.

Один из вариантов на грани бреда: используя вентилятор кулера системного блока, обдувать утеплённую коробку, стоящую на балконе, квартирным воздухом. Повторюсь, вариант даже не сырой, а скорее свежемороженый )))

Я делал на балкон утепленный ящик и на этом все. С улицы балкон охлаждается, от квартирной стены греется. В сильные холода ящик устанавливался на балконный подоконник одной стенкой к квартирному окну. Спокойно вагусы отзимовали.

.