Если вкратце, то это разные библиотеки для построения графических интерфейсов. GTK в Linux активно применяется в Gnome, а так же в таких приложениях как Gimp и Firefox (их тысячи, это самые известные на мой взгляд).
Библиотека QT имеет свою историю. Графическая среда KDE работает с библиотекой QT.
Кроме технических деталей, есть еще и юридический аспект - обе библиотеки бесплатны, однако распространяются под разными лицензиями. Если совсем кратко, то GTK дает больше свободы, в то время как QT бесплатна только для некоммерческого использования.
