Вопрос поставлен слишком неконкретно, чтобы ответь определенно. Есть пакет toulbar2, который нацелен на решение задач оптимизации по дискретным переменным с разложимыми критериями (критерии представляют собой сумму функций, каждая из нескольких переменных, которые могут принимать бесконечные значения, которые тоже определяют ограничения). Это включает, например, "псевдо-булевую"полиномиальную оптимизацию, которая одновременно дискретная и нелинейная (так что примерно соответствует определению вашей проблемы).
Ссылка на пакет в репозитории здесь.
