Как сказал комментатор выше, нужно в первую очередь проверить сколько осталось свободной памяти, зачем? Всё просто, не нужно отбрасывать того что у вас возможна проблема с оперативной памятью с самой планкой или если их несколько, то возможно с двумя планками, но это маловероятно. Пожалуйста проверьте свою память с помощью memtest чтобы откинуть аппаратную проблему.
Возможно я немножко неправильно понял, проблема начинается тогда, когда подключается Swap, если это так то попробуйте перенести swap на другой раздел, например на жёсткий диск если он у вас на вашем SSD или же наоборот попробуйте перенести его на SSD.
Когда-то давно сталкивался с такой проблемой, swap раздел был создан на жестком диске на котором были битые сектора и видимо как раз попадал на этих секторов как только он начинал работать, система зависает, я очень долго не мог понять в чём причина пока попросту не перенес Swap, уже потом выяснилось что этот диск на котором раньше стоял Swap просто с битыми секторами, исправив диск, создал Swap и всё заработало. Если не ошибаюсь до сих пор всё прекрасно там работает.
