Обучался во Фрайбурге, Бостоне и Нью-Йорке. С 1994 года он является хормейстером и органистом в Штифтскирхе в Штутгарте. С хором Штутгартского кантората в 2006 году он выиграл Первый приз на Всенемецком конкурсе хоровых коллективов. Карьера органиста для Йоханнсена началась с победы в немецком музыкальном конкурсе в 1988 году. 

Органист осуществил ряд записей на радио, многочисленных CD произведений Баха, Боэли, Брамса, Листа, Франка, Регера, Видора, Вьерна, Фертига, а также собственные импровизации. Был награжден рядом престижных музыкальных наград за записи сочинений И.С.Баха.

Кай Йоханнсен активный участник множества международных фестивалей в Европе, США, Азии, Южной Америке, Южной Африке. Выступал с множеством оркестров в разных частях света, среди которых выделяются работы с Берлинским Филармоническим Оркестром и Клаудио Аббадо, с Венским Филармоническим Оркестром и Тревором Пинноком. Кай Йоханнсен также известен как композитор. Его органная опера «Ночной автобус» с успехом исполнялась на Музыкальном фестивале в Штутгарте в 2010 году.

23 февраля талантливый органист Кай Йоханнсен выступит в органном зале кемеровской филармонии. Программа концерта уточняется.