En samtale med Yagiz Mungan, CODAME Artist

En serie intervjuer av artister og høyttalere omtalt på CODAME ART + TECH Festival [2018] av Irene Malatesta

Yagiz Mungan, tverrfaglig kunstner

Tverrfaglig kunstner Yagiz Mungan skaper arbeid som blander VR / AR, lyd / musikk, interaksjon, performance, virtuelle verdener og spill. Han er spesielt interessert i generative strategier for å lage visuals og lyd, og måter å bruke teknologi for å skyve grensene for menneskets oppfatning og emosjonelle respons. Arbeidet hans tar ofte sikte på å rekontekstualisere kjente opplevelser, eller tar for seg uhyggelige teknologiske møter i moderne liv.

Mungan har en MSc i datateknikk og MFA i interaktiv kunst, og har stilt ut arbeidet sitt over hele verden. For CODAME ART + TECH-festivalen 2018 vil Mungan stille ut et prosjekt kalt Illy, en AI som kommuniserer via lyd uten språk.

Årets CODAME-festival, kodenavnet #ARTOBOTS, vil inneholde 4 dager med installasjoner, verksteder, samtaler og mer, alt sentrert rundt den voksende innflytelsen fra kunstig intelligens og robotikk i den moderne verden. I denne samtalen diskuterer Mungan disse temaene og mer, inkludert hans bakgrunn og tidlige lydeksperimenter, hvordan han blander ulike teknologiske medier for å skape ny mediekunst, og hvordan VR kan hjelpe oss å oppleve det umulige.

IM: Hei Yagiz, takk for at du godtok å chatte. Du er en artist som jobber med interaktive installasjoner, interaktiv musikk og blandet virkelighet. Kunne du begynne med å snakke litt om hvem du er og hva slags arbeid du gjør?

YM: Jeg liker å lage interaktive ting eller generative ting, der datamaskinen eller programvaren er en del av opplevelsen som et aktivt middel. Tilbake på dagen studerte jeg ingeniørfag, og ble inspirert til å se på hvordan jeg kan gjøre prosjektene mine mer kreative. Jeg så på algoritmiske og generative tilnærminger til arbeidet mitt. Jeg klarte å komme dit det ikke var noen bruker, men det kom mer uttrykk gjennom programvare. Derfra kom jeg inn på spill: spilldesign og interaktive installasjoner.

Jeg jobbet alltid med musikk og kunst, men teknologi og kunst var egentlig to separate ting da jeg var yngre; de eksisterte ikke sammen. Ideen min om å kombinere dem vokste over tid. Da jeg kom inn på algoritmisk generasjon, skrev jeg programvare som komponerte musikk og skapte visuals. Jeg kom inn i systemer som du kan samhandle med, for å lage musikk, videoer, lage kode for et spill eller installasjoner.

Mixed reality eller VR er bare et annet medium for å lage installasjoner, hvis du vil. Og i VR har du ingen fysiske begrensninger for hva du kan lage.

Det høres ut som du kanskje beskriver deg selv hovedsakelig som en kunstner som jobber med interaktivitet, og alle disse forskjellige mediene var forskjellige måter å få til på det.

Det er en måte å si det, ja. For meg vil jeg si "tverrfaglig" artist, fordi koding er mitt håndverk. For meg er lyder alltid de viktigste sidene ved en ting: Jeg prøver alltid å gjøre det lydfokusert eller musikkfokusert. Visuelle bilder er alltid der, men jeg prøver alltid å gjøre lyden til en veldig viktig del av prosjektet og bygge rundt den, i motsetning til "La oss sette litt musikk i bakgrunnen." I stedet vil jeg vanligvis lage det med å lage musikk.

Det er interessant fordi det er et veldig distinkt synspunkt om hvorvidt musikken er temaet eller om musikken er i bakgrunnen. Du nevnte før at koding er ditt håndverk. Du har en mastergrad i datateknikk og også en MFA i elektronisk kunst. Kunne du snakke litt om bakgrunnen din og hvor du er fra, og hvordan du bestemte deg for å fortsette den formelle treningsveien?

Jeg kommer fra Tyrkia. Der jeg er fra i barndommen, tidlig på 2000-tallet, var det en kultur der du, hvis du er en suksessfull student, må gå og studere visse fag. Jeg hadde ikke så mange alternativer å velge mellom, så jeg studerte Ingeniørfag.

Jeg har alltid følt at det manglet noe der. Da jeg tok mastergraden, gikk jeg fra å undersøke hva som kan gjøres med programmering eller prosjektering, til å innse, ok, jeg kan bruke dette til å lage musikken jeg liker. Masteroppgaven min handlet om å lage komposisjoner algoritmisk. Når jeg var ferdig med det, tenkte jeg at jeg også ønsket litt brukerinteraksjon.

Mine andre Masters handlet om interaktiv kunst som et tidsbasert medium. Det fokuserte på installasjoner, mer kunstbaserte ideer og brukerinteraksjon. Det var slags vei.

Den kreative banen din gir faktisk mye mening: du har vært en UX-utvikler, en universitetsinstruktør, du jobbet med spilldesign ... du har gjort mange forskjellige ting, men de involverte alle disse komponentene i kreativitet, skapte noe og interaktivitet og prosjektering. Du har også reist mye. Kan du kommentere jobbene du har hatt og byer du har vært?

Det er et interessant spørsmål fordi jeg tilbrakte så mye tid på gradskole. Når det gjelder jobber, er titlene jeg har endret, men det jeg gjør er stort sett de samme. Det jeg synes er mest interessant er arbeidet jeg gjør utenfor de vanlige ”jobbene” mine. Menneskene jeg møter, teknologi- og kunstsamfunnet i San Francisco. Å snakke med folk i dette samfunnet er alltid, mer enn underholdende, det får meg til å føle at jeg trenger å gjøre mer. Ikke på en konkurransedyktig måte, men du vet, jeg føler meg inspirert!

Jeg har vært i mange byer. Jeg var i Indiana etter studiene mine. Jeg har vært i Sverige og deretter en stund i Tyskland. Mye tid i Tyrkia. Når det gjelder kunstsamfunnet, kan jeg ikke sammenligne Indiana med San Francisco, fordi det er så annerledes. Her er det alltid nye mennesker å møte. Det skjer så mange ting her.

Angående arbeidet ditt spesielt, var det noe spesielt prosjekt som inspirerte deg tidlig?

Jeg var alltid involvert i musikk siden jeg var syv år gammel. Mitt hovedinstrument er gitaren. Jeg spiller også synthesizere. Jeg tror det startet da jeg gikk i en klasse, og jeg lagde en veldig enkel lydproduserende kode og jeg var interessert i å gå videre. Jeg undersøkte den grunnleggende forskningen, det er mange ting der ute, og jeg innså at det var dette feltet som jeg kunne studere, forskning for å forbedre meg selv.

For den første delen var det litt tilfeldig. For eksempel får du annonser hele tiden, e-post fra leverandører, og det er alt, se den nye høyttaleren, uansett hva. Jeg husker at jeg fikk e-posten med påstanden om at den nye foredragsholderen hadde en viss frekvensrespons, og jeg tenkte: "Det kan ikke mennesker høre!" Jeg ble inspirert til å teste den. Jeg lagde en enkel kode for å spille den lyden, og selvfølgelig kunne vi ikke høre noe fra den bærbare datamaskinen.

Dette var bare et tidlig eksperiment. Jeg hadde det bare moro, og da innså jeg at jeg faktisk kan lage musikk på denne måten. Over tid oppdaget jeg en rekke verktøy som folk har brukt til kreativ teknologi. Det var første skritt for meg.

La oss snakke litt om arbeidet du gjør nå. Kunne du snakke litt om de nåværende kreative prosjektene dine, hva du er mest spent på, og også hva som får deg til å lage dem? Hvorfor lager du dem, det du vil kommunisere mest av alt?

Arbeidet mitt går på to veier. Noen ganger er det noe i visuell kunst som jeg vil undersøke, eller noe brukerinteraksjon som jeg er nysgjerrig på. Så det er ingen ekte melding eller mening, men jeg vil bare se hvor jeg ender opp fra en mer estetisk posisjon. Noen ganger, som om det er noe som plager meg eller får meg til å tenke, lager jeg et stykke om det.

Akkurat nå beveger jeg meg mot mer arbeid med musikkvisualiserende, og lager abstrakte landskap gjennom musikk. Jeg prøver å komme vekk fra de gamle abstrakte formene og komme inn i mer realistiske bilder. Det er et morsomt prosjekt, og ser på noen visuelle effekter som jeg kan drive gjennom lyd.

Hva er det med landskapene du dras mot, hvorfor landskap?

Vel, jeg vil si ikke like landskap som i naturen, men landskap for eksempel i en by. Som når du sitter på en kaffebar og ser på folk krysser gatene. Jeg kan lage noe slikt som ville være umulig i det virkelige liv, med noen mennesker som rykker opp, noen mennesker rykker ned….

Og så kan jeg bruke bevegelsesfangst for å lage dette. Brokenness interesserer meg, det at de ikke virkelig eksisterer eller at de ikke kan eksistere.

For å lage kunstverkene dine bruker du Unity og WebGL. Kan du snakke litt mer om medier og verktøy du bruker for å lage arbeidet ditt? Hva er viktigst for deg?

Ja, det er de to viktigste verktøyene mine for det visuelle. Jeg liker å jobbe i et rom, og å jobbe i fysiske rom er interessant, men ikke alltid rimelig eller praktisk. Så det er derfor jeg liker å jobbe i virtuelle rom, eller jeg kombinerer dem, så det er noen fysiske aspekter ved de virtuelle aspektene. I de tilfellene bruker jeg Unity eller WebGL.

Grunnen til at jeg kanskje velger det ene eller det andre, er hvis det er noe spesifikt jeg trenger i en av dem. Hovedsakelig velger jeg ut fra distribusjonsmidlene. Hvis jeg trenger å distribuere arbeidet på nettet til folk, vil jeg gå til WebGL, nettlesermåten, [jeg] som å bruke biblioteket three.js slik at du bare kan dele en lenke og andre har tilgang til det. For en begivenhetsbasert ting liker jeg å bruke Unity. Det er veldig morsomt og enkelt å bruke med mange muligheter. Det er litt vanskeligere å distribuere.

En annen ting [å vurdere] er troskap. Med ferdighetssettet mitt kan jeg få en bedre kvalitet i Unity som er viktig noen ganger. For lyden er det litt interessant for lyden. Jeg elsker Unity, men lydskapingsegenskapene er ganske begrensede. Det meste av tiden kobler jeg til en annen ting som MAX / MSP, som er som et live-ytelsesverktøy, men som gjør det generelle produktet vanskeligere å distribuere eller sende til andre.

Når jeg jobber i et rom, liker jeg å bruke mye av lydene i det rommet for å blande seg inn i utstillingen, fange lydene og behandle dem tilbake. Noen ganger liker jeg også å spille inn egne komposisjoner som spiller gitar som en del av opplevelsene jeg skaper.

Etter din mening, hva slags emosjonelt kunstnerisk innhold blir nå mulig på grunn av teknologier med blandet virkelighet? Du jobber i VR med alle disse nye verktøyene. Det er åpenbart en grunn til at artister vil bruke VR til å kommunisere noe nytt, ikke sant?

Ja. I den fysiske verden er det mange ting du ikke kan oppnå, på grunn av grunnleggende begrensninger som plass eller ressurser som penger, osv. Det VR gir deg er den kapasiteten til å lage ting, som umulige scenarier. Det setter deg i det umulige i et aller førsteperspektiv. Alt blir plutselig ekte, som: "Jeg kan faktisk røre dette."

Noe av det jeg gjorde nylig, var et VR- og dansestykke. Freya Olafson og jeg opprettet disse dansende avatarene. Når du har laget nok av dem, føltes det som om du er i skogbunnen til et ruvende, robotisk, bevegelige avatarer. Det skapte en følelse av det sublime. Du kan ikke komme dit veldig lett. Å komme dit til det punktet som er over mulig, men du føler plutselig at "Jeg er faktisk her, dette er umulig."

Noen mennesker bruker VR for å gjenskape den fysiske verdenen, og da blir det bare morsomt, som en vits. For meg er det som er interessant å sette folk inn i disse umulige situasjonene der det blir en veldig personlig form for opplevelse. Du ser det med egne øyne. Det kan virkelig komme til deg.

Foto fra Motion Aftereffect av Freya Bjorg Olafson og Yagiz Mungan, 2017. Foto av Robbie Sweeny. Dette arbeidet ble utviklet gjennom CounterPulse Artist Residency Commissioning Program med støtte fra National Endowment for the Arts, Zellerbach Family Foundation og Ken Hempel Fund for the Arts. Mer informasjon her.

Kunstnere har drevet med det sublime på forskjellige måter i veldig lang tid. Tror du at blandet virkelighetsteknologi er et spesielt godt medium eller rom for å formidle den følelsen?

Ja jeg tror det. Det er et medium for hva som helst, men det faktum at du kan plassere folk hvor som helst er veldig sterkt fordi du kan plassere mennesker hvor du enn forestiller deg, ikke bare i et landskap, men også i et minstat. Det trenger ikke å være et virkelig rom som de kunne stå på. Det kan være et rom uten grunn, eller det kan være overgangsrom. Det kan være lys og lyder. Det kan være en ingen plass. Det er ganske sterkt.

Absolutt. Og hva med å se litt på fremtiden? Er det nye teknologier som du er veldig spent på som fremdeles er i beviset for konseptfasen, men ikke virkelig har blitt brukt til å lage kunst på høyt nivå ennå, etter din mening?

Det er alltid den lineære fremgangen som nye teknologier har. Vi arbeider fremdeles med nettverkskabler og noen ganger blir kablene mer forstyrrende enn brikken! Men når det gjelder de nye teknologiene, ville det være interessant å se hvor AR går. På dette tidspunktet er det bare å skrape overflatenivået, men når det faktisk er der, er det litt vanskelig å si hva som er en utvidet virkelighet og hva som er fysisk. Det vil være interessant og skummelt.

Utsikt over Illy, av Yagiz Mungan

La oss snakke om den kommende CODAME ART + TECH-festivalen. Kan du fortelle oss om arbeidet du vil vise?

Det vil være en versjon av Illy, som er et semi-intelligent system. Det er et utviklingsprosjekt som har vært på lenge.

Utgangspunktet for Illy var en enhet: en Amazon Alexa eller Google Home. Når du bruker en av disse, snakker du med en plastisk ting, sier du noe og du forventer et resultat. Og når du får det resultatet, føler du deg glad og fornøyd, men når det står: "Å, det fikk jeg ikke," føler du deg frustrert. Når den spiller feil sang, blir du frustrert.

Etter å ha gått gjennom denne prosessen med aksenten min, ble jeg plaget at jeg kunne bli så frustrert over en plastisk bot. Etter å ha tenkt litt på det, kom jeg på Illy, som er en kunstig intelligens som ikke forstår engelsk. Illy forstår ikke noe språk, forstår ikke å snakke, men den prøver å tolke stemmene, tonehøyde, volum, hovedkarakteristika ved lyd, og den prøver å svare tilbake basert på det. Det skaper en kommunikasjon der begge sider vet at det ikke vil være noen forståelse. Det er opp til deg å legge noen mening til det den sier.

Så det kommuniserer tilbake når du snakker med det, men ikke på språk?

Nøyaktig. Samtalen er mer som en monolog, men det er opp til deg hva den sier. Så det er hovedideen. Det vil også være enten et VR-prosjekt eller et stort display. Du kan se på Illy som en ting som bare lager rå lyder, eller det kan være ditt mest forståelsesfulle kjæledyr, eller du kan behandle det som en baby. Som du vet, snakker du med en baby. Du vet at babyen ikke forstår deg. Det handler om hvordan du føler deg.

Hva vil du at folk skal vite om arbeidet ditt? Eller hva vil du at de skal tenke mest på når de ser arbeidet ditt på festivalen?

Det handler om vårt forhold til ting, med teknologi, med AIer, og hvordan kommunikasjonsmidlene endrer vårt perspektiv og forventninger. Som for eksempel sier jeg noe nå, og du kan forstå det fordi vi bruker de samme symbolene, men hvis jeg snakket på tyrkisk, ville det bare være støy og ikke være verdifullt for deg.

Eller vurder forholdet mellom mennesker som når du går til en kaffebar og ber om en kaffe. Det meste av tiden i livene våre er forventet: "Denne personen gir meg kaffe." Hvis denne personen prøver å snakke med deg, er reaksjonen din: "Jeg må gå, hvorfor kaster du bort tiden min!" Det er den lille tingen, men å være virkelig klar over disse interaksjonene, kontra ubevisst oppmerksom, er veldig annerledes.

Det er interessant å tenke på hvordan lyd, kvaliteten på lyden og betydningen av språket blir sammenvevd mye av tiden. Som i prosjektet ditt: du presenterer det på den måten, men vi vet at vi kan si noe betyr i en veldig søt stemme, og omvendt. Det er veldig lett for oss å ha disse forventningene som da er gale fordi vi bare bruker vårt eget perspektiv.

Det er den kulturelle konstruksjonen. Ulike språk har forskjellige måter å si ting på. For noen kan for eksempel å uttale noe “søt” på ett språk høres ut som jeg snakker til deg. Alle disse betydningene er menneskeskapte kulturelle ting som vi må være enige om. Du trenger riktig dekoder for å forstå det, og hva hvis du ikke har det?

Koble til og lære mer om Yagiz Mungan på CODAME-siden:

Du kan finne verkene hans på CODAME ART + TECH Festival [2018], en fire dagers konferanse med workshops, foredrag og utelivshendelser @ The Midway, San Francisco, 4. til 7. juni 2018, kodenavnet #ARTOBOTS:

CODAME ART + TECH Festival [2018] #ARTOBOTS

Irene Malatesta er forfatter, kreativ strateg og kjæreste innen digital kunst i San Francisco. Du kan finne henne på Twitter og Instagram @irenekaoru.