Školovao se na Norveškoj akademiji za kazalište te je 1978. godine dobio diplomu glumca. Pored rada u kazalištu, Gaup je imao i nekoliko filmskih uloga te je pisao scenarije za kazališne predstave. Jedan od tih scenarija iskoristio je za redateljski debi na filmu 1987. godine s filmom Pathfinder. Film je 1988. bio nominiran za Oscara u kategoriji najboljeg stranog filma. Otad Gaup konstantno radi na filmu i televiziji. Ostali filmovi su mu francusko-američka koprodukcija North Star (1996.), hvaljena drama Misery Harbour (1999.), te TV-serije Nini (1998.) i Deadline Torp.