Думаю что в целом лучше перейти. Во-первых, сам интерфейс на мой взгляд стал плавнее и отзывчивее. А еще ядро версии 5.4 загружается быстрее. Однако хочу заметить, я перешел с 18.04 на 20.04 путем обновления существующей системы и сейчас есть какие то небольшие глюки и лазания - где то интерфейс подлечивает, где то какие то ошибки вылазят. Я рекомендую переходить на 20.04, но с чистого листа - установку лучше делать по новой.