чем больше модов в сборке, тем больше памяти она требует. Сборки 1.12.2 для нормальной работы требуют 3Гб. Если у вас всего 3 на компьютере, включите файл подкачки, а лучше установить х64 операционную систему и докупить памяти. Сейчас она уже не дорогая.