Tekoälyn eettinen pelikirja 1.0
”Millaista tietoa tuotamme ja miten sitä käytämme?”
Tekoälyllä tuotetun tiedon oikeellisuus, jäljitettävyys, luotettavuus, läpinäkyvyys
Liang ym. (2024) mukaan tekoälyn luottamuksen ja hyväksynnän parantaminen KIRA-alan organisaatioissa edellyttää keskittymistä läpinäkyvyyteen, eettisyyteen ja organisaation sisäisten sidosryhmien osallistamiseen. KIRA-alalla tekoälysovellusten tuottaman tiedon oikeellisuuden varmistaminen ja jäljitettävyys ovat haastavia toteuttaa, koska teknisiä mekanismeja on vielä vähän tarjolla ylipäänsä. Läpinäkyvyys on tekoälykehityksessä keskeistä, koska käyttäjän tulee ymmärtää tekoälyjärjestelmien toimintaa, päätöksentekoa, sekä niiden hyödyntämää dataa. Jotta luottamus kasvaa tekoälyjärjestelmän käyttäjällä on oltava mahdollisuus olla mukana tekoälyn päätöksenteossa (Human-in-the-loop) ja arvioida tekoälyn ehdotuksia.
Tämä osio KIRA-alan tekoälyn pelikirjasta tarkastelee tekoälyllä tuotetun tiedon oikeellisuutta, jäljitettävyyttä, luotettavuutta ja läpinäkyvyyttä. Käymme läpi tekoälyllä tuotetun tiedon erilaisia haasteita kuten vinoumaa sekä pohdimme miten luotettavuutta voidaan edistää KIRA-alan tekoälysovelluksissa.
Nykytilanne
Euroopan komissio on julkaissut tekoälyasetuksen (2024), jonka yksi tarkoituksista on lisätä tekoälyjärjestelmien läpinäkyvyyttä, luotettavuutta ja käyttäjien kontrollia oikeuksista tekoälyn tuottamaan tietoon. Tekijänoikeuksien jäljitettävyys on haaste ja siksi tekoälyasetus tuo velvoitteita tekoälymallien tarjoajille huolehtia tekijänoikeuksien noudattamisesta ja velvoittaa tuottamaan tiivistelmä tekoälysovelluksen kouluttamiseen käytetyistä koulutusaineistosta. EU-tekoälyasetus määrittelee eri rooleja. Riippuen suhteestasi tekoälyjärjestelmään voit olla: tarjoaja, käyttöönottaja, jakelija, maahantuoja, valtuutettu edustaja tai tuotteen valmistaja.
Keskeinen KIRA-alan tekoälyn luotettavuuskysymys on sen tuottaman tiedon jäljitettävyys ja vinoumat. Yleiset generatiivisen tekoälyn tarjoavat hyviä lähtökohtia käyttäjälleen ideoida ja tutkia vaihtoehtoja, mutta ne eivät tarjoa luotettavaa täsmätietoa esimerkiksi suunnittelun tai rakentamisen kysymyksiin. Ensimmäinen kaupallinen tiedon jäljitettävyyttä ylläpitävä tekoälyavustajia KIRA-alalle on Rakennustieto Oy:n Alvar-tekoälyavustaja (linkki), joka etsii vastauksen pyydettyyn kysymykseen rajatusti RT-korteista, jotka ovat KIRA-alan yhdessä sopimat parhaat rakentamisen käytännöt. Tekoälyavustaja viittaa RT-kortin sisältöön ja käyttäjä voi katsoa oikean tiedon hyväksytystä lähteestä.
Tekoälyyn liittyvään toimintaympäristöön liittyy myös ristiriitoja. Muun muassa EU:n ajamassa datapolitiikassa investoidaan datamarkkinoiden syntyyn ja siihen, että laajat tietoaineistot voitaisiin kerätä liiketoiminnan ja julkisen sektorin kehittämistä vauhdittamaan. Samaan aikaan tietosuoja sekä käyttöoikeuksissa tiedon käyttötarkoituksen yksilöinti pyrkivät rajaamaan tiedon käytettävyyttä ja varmentamaan yksilön suojan toteutumisen. Nämä näkökulmat KIRA-alan tekoälykehittäjän on huomioitava ja tasapainoiltava yksilönsuojan turvaamisen ja aineistojen laajuuden välillä
EU-tekoälyasetuksen mukaiset roolit:
”Tarjoajalla” luonnollista tai oikeushenkilöä, viranomaista, virastoa tai muuta elintä, joka kehittää tai kehityttää tekoälyjärjestelmän tai yleiskäyttöisen tekoälymallin ja saattaa sen markkinoille tai ottaa tekoälyjärjestelmän käyttöön omalla nimellään tai tavaramerkillään joko maksua vastaan tai maksutta;
”Käyttöönottajalla” luonnollista tai oikeushenkilöä, viranomaista, virastoa tai muuta tahoa, joka käyttää valvonnassaan olevaa tekoälyjärjestelmää, paitsi jos tekoälyjärjestelmää käytetään henkilökohtaisessa muussa kuin ammattitoiminnassa;
”Jakelijalla” muuta toimitusketjuun kuuluvaa luonnollista tai oikeushenkilöä kuin tarjoajaa tai maahantuojaa, joka asettaa tekoälyjärjestelmän saataville unionin markkinoilla;
”Maahantuojalla” unionissa sijaitsevaa tai unioniin sijoittautunutta luonnollista tai oikeushenkilöä, joka saattaa markkinoille tekoälyjärjestelmän, jolla on kolmanteen maahan sijoittautuneen luonnollisen tai oikeushenkilön nimi tai tavaramerkki;
”Valtuutetulla edustajalla” unionissa sijaitsevaa tai unioniin sijoittautunutta luonnollista tai oikeushenkilöä, joka on saanut ja hyväksynyt tekoälyjärjestelmän tai yleiskäyttöisen tekoälymallin tarjoajan antaman kirjallisen toimeksiannon täyttää ja toteuttaa kyseisen tarjoajan puolesta tässä asetuksessa säädetyt velvollisuudet ja menettelyt;
”Tuotteen valmistajalla” saattaa markkinoille tai ottaa käyttöön tekoälyjärjestelmän yhdessä tuotteensa kanssa omalla nimellä tai tavaramerkillä;
Vinoumat ja reiluus
Nykyisten tekoälyjärjestelmien kaksi keskeisintä luotettavuutta haastavaa tekijää ovat vinoumat (bias) ja reiluus (fairness). Ferrara (2023) mukaan generatiivisen tekoälyn vinoumat ilmenevät, kun tekoälymallit tuottavat sisältöä, joka heijastaa ennakkoluuloisia tai epäoikeudenmukaisia näkökulmia, usein johtuen mallin koulutuksessa käytetyn datan vinoumista. Reiluus puolestaan tarkoittaa sitä, että tekoälyjärjestelmät kohtelevat kaikkia käyttäjiä ja tilanteita tasapuolisesti ilman syrjintää tai suosimista. Tekoälyn vinoumat voivat johtaa yksilöiden tai ryhmien epäoikeudenmukaiseen kohteluun ja ylläpitää epätasa-arvoa.
Tekoälytiedon selitettävyys ja tulkittavuus
Tekoälyjärjestelmän selitettävyys ja tulkittavuus ovat kriittisiä luottamuksen, läpinäkyvyyden ja eettisyyden varmistamiseksi tekoälyä sovellettaessa. Selitettävyys (explainability) viittaa tekoälyjärjestelmän kykyyn tarjota selityksiä päätöksilleen tai toiminnalleen. Tämä tarkoittaa, että tekoälyn käyttäjille ja sidosryhmille voidaan esittää, miten ja miksi järjestelmä päätyi tiettyyn lopputulokseen. Tulkittavuus (interpretability) puolestaan viittaa tekoälymallin sisäisen toiminnan ymmärrettävyyteen. Näiden kahden käsitteen ero voidaan tiivistää siten, että tulkittavuus liittyy mallin sisäiseen rakenteeseen ja siihen, kuinka helposti sitä voidaan suoraan ymmärtää. Selitettävyys keskittyy taas siihen, kuinka hyvin malli voi tarjota käyttäjille järkeviä ja hyödyllisiä selityksiä lopputuloksistaan, vaikka itse malli ei olisi helposti ymmärrettävä.
Seuranta ja jäljitettävyys
Selkeiden seurantamekanismien luominen tekoälyyn perustuville prosesseille on välttämätöntä, jotta tekoälyjärjestelmien kaikki päätökset ja toimet voidaan jäljittää. Tekoäly toimintojen ja päätösten lokien ylläpito mahdollistaa eettisten standardien noudattamisen ja toiminnan valvonnan. Tämä läpinäkyvyys auttaa tunnistamaan ja korjaamaan tekoälyn tuottamien tulosten mahdolliset virheet tai vinoumat.
Datan läpinäkyvyys
Datan läpinäkyvyys tarkoittaa, että tekoälyjärjestelmän käyttäjien on mahdollista ymmärtää helposti, miten tekoäly päätyi lopputulokseensa ja mitä dataa se päätöksentekoon käytti. Monet tekoälyalgoritmit, erityisesti syväoppimismallit ovat läpinäkymättömiä ja tämä Liang ym. (2024) korostama ”musta laatikko” -ominaisuus on omiaan heikentämään käyttäjän luottamusta sekä tekoälyjärjestelmän omistajan vastuullisuutta. Filipsson (2024) esittää ratkaisuksi selitettävään tekoälyyn (explainable AI, XAI) liittyviä kehitteillä olevia menetelmiä, jossa tekoäly osaa kertoa miten päätyi lopputulokseensa ja varmentaa käyttäjälle datalähteensä.
Tekoälyn kehittämisessä tarvitaan alalla läpinäkyvyyttä
Weber-Lewerenz (2021) korostaa, että tekoälyn ohjaamien KIRA-alan suunnittelupäätösten perusteluiden tulisi olla läpinäkyviä ja ymmärrettäviä niin suunnittelijalle kuin asiakkaille, jotta luottamus säilyy ja tietoon perustuvat muutokset ovat mahdollisia. Tekoälyn tulisi täydentää, ei korvata, ihmisen arviointikykyä. Tekoälyn antamia suosituksia tulisi arvioida erityisesti KIRA-alalla kriittisesti asiantuntijoiden toimesta ennen niiden käyttöönottoa, koska kyseessä on ihmisten turvallisuus sekä taloudellinen että ympäristökestävyys.
KIRA-alan organisaatio voi osoittaa läpinäkyvyyttä viestimällä selkeästi, miten heidän hyödyntämänsä tekoälyjärjestelmät toimivat, mukaan lukien tiedot niiden käyttämästä datasta ja päätöksentekoprosesseista. Päätöksentekoprosessien dokumentointi lokien ja auditointipolkujen kautta on myös tärkeää säilyttää ja muistaa kun tekoälyjärjestelmiä kehitetään. Selitettävän tekoälyn menetelmien käyttöönotto voi auttaa loppukäyttäjiä ymmärtämään, miten tekoäly saavuttaa tuloksensa. Tekoälyjärjestelmien rajoitteiden korostaminen ja loppukäyttäjien osallistaminen tekoälyjärjestelmien suunnitteluprosessiin parantaa myös läpinäkyvyyttä.
Vuonna 2024 hyväksytty EU-tekoälyasetus (2024) korostaa avoimuuden lisäämistä, järjestelmän toteuttajan vastuullisuutta sekä läpinäkyvyyttä. EU-tekoälyasetuksen myötä myös yleiskäyttöisten tekoälymallien koulutukseen käytetyt tietolähteet tai datajoukot, kuten suuret yksityiset tai julkiset tietokannat tai -arkistot tulee kuvata tiivistelmässä. Lisäksi tekoälyasetus korostaa suurriskisten tekoälyjärjestelmien kehittäjien läpinäkyvyydestä huolehtimista. Suurriskisten tekoälyjärjestelmien tulee huolehtia vaatimuksienmukaisuuden arvioinnista sekä erityisesti läpinäkyvistä kuvauksista, miten tekoälyjärjestelmät toimivat.
Suurriskisiä tekoälyjärjestelmiä ovat tekoälyasetuksen faktasivuston (2024) mukaan mm. järjestelmät, jotka toimivat suorasti ihmisen kanssa (esimerkiksi rekrytointijärjestelmät), toimivat kriittisen infrastruktuurin kanssa (ajoneuvojen etäohjaus, veden ja kaasun jakelu), tulkitsevat ihmisten biometriikkaa (esimerkiksi sormenjäljet ja biometrinen tunnistaminen) tai jotka tuottavat sisältöä julkiseen kiinnostuksen kohteeseen. KIRA-alan suurriskiset tekoälysovelluksista on vähän tietoa ja lähimmät tällaiset sovellukset löytyvät kriittisestä infrastruktuurista.
Emaminejad ym. (2022) mukaan tekoälyn selitettävyyttä ja tulkittavuutta ei ole juurikaan tutkittu KIRA-alalla, mutta lohkoketjuteknologian yhdistäminen tekoälyalgoritmeihin tuo tarvittavan päätöksentekoketjun seuraamisen helpoksi ja siten tekoälynkin selitettävyyden paremmaksi. Tämä kehitys vaatii kuitenkin merkittäviä panostuksia tutkimukseen ennen käyttöönottoa.
Erilaisia eettisen toiminnan näkökulmia
Liang ym. (2024) nostaa KIRA-alan tekoälyn läpinäkyvyyden lisäksi eettisiksi huoliksi erityisesti toimialan työpaikkojen vähenemisen, tietosuojan merkityksen, tietoturvan ja päätöksenteon ristiriidat. Esimerkiksi huoli päätöksenteon ristiriidoista johtuu siitä, että suunnittelutoiminnassa tekoäly ei välttämättä huomioi riittävästi suunnittelupäätöksissä kestävyyteen ja viihtyvyyteen vaikuttavia asioita, kuten pohjaratkaisujen luonnonvalon määrää tai vastuullista materiaalinkäyttöä. Näiden mitattavuus nykyisen datamäärän valossa on vielä pieni ja kokemusperäinen tieto on vaikea osoittaa tekoälyalgoritmin toimintaan. Näissä tilanteissa ihmisen ja tekoälyn tekemät päätökset voivat olla vastakkaisia ja siksi on tärkeää varmistaa, että tekoälyn ohjaamien päätösten perustelut ovat läpinäkyviä ja ymmärrettäviä sekä suunnittelijalle että asiakkaille. Tämä läpinäkyvyys lisää luottamusta ja avaa suunnittelijoiden tekemät tietoiset päätökset suunnitteluperusteista.
Tulevaisuuskuva
Tekoälyn luotettavuuden varmistaminen on jatkuva prosessi
Deodhar ym. (2024) korostavat, että tekoälyn eettiset periaatteet (aivan kuten sen teknologiset osatekijätkin), ovat jatkuvassa muutoksessa. Yritysten ja organisaatioiden ei siis koskaan tulisi ajatella olevansa valmiita tekoälyn tuottaman tiedon luotettavuuden ja etiikan hallinnan osalta. Luotettavuuden varmistaminen on tekoälyn aikakaudella jatkuva prosessi, johon tarvitaan uusia päivittyviä käytäntöjä KIRA-alan yrityksissä.
Tekoälyn tietoturvallisuuteen ja erityisesti yksilön tietosuojaan on kiinnitettävä vahvasti huomiota, koska verkkorikollisten määrä kasvaa jatkuvasti. Verkkorikollisten silmissä KIRA-ala on kiinnostava, koska hankkeissa liikkuu isoja pääomia.
Luotettavuuden varmistamiseen tarvitaan tulevaisuudessa uusia keinoja, kuten algoritmien datavinoumien hallinta ja tekoälyn tuottaman materiaalin automaattivalvonta. Emaminejad ym. (2022) korostaa, että tekoälyn luotettavuutta parantaisi ihmisen ja koneen yhteistoiminnan parempi määrittely ja suunnitella tekoälyratkaisut siten, että ne kytkeytyvät suoraan perinteisiin KIRA-alan toimintaprosesseihin.
Ota huomioon ainakin nämä!
- Kehitä omaan tarpeeseen räätälöidyt eettiset ohjeet ja viitekehykset
KIRA-alan organisaatioiden tulisi kehittää omia tekoälyn käyttöön liittyviä eettisiä ohjeita, jotka on räätälöity heidän oman toimintansa erityisiin riskeihin ja haasteisiin (esimerkiksi Yleisradion vastuullisen tekoälyn periaatteet). Eettisiin periaatteisiin voi lisätä haluttuja näkökulmia, kuten tekoälyavusteiset suunnitteluperiaatteet tai huolelliset datanhallintakäytännöt. Datanhallintokäytäntöihin voi kuulua kuvaukset, miten tietolähteitä päivitetään ja validoidaan tai mitkä ovat vastuumekanismit kuka on vastuussa, jos tekoälyjärjestelmät epäonnistuvat tai aiheuttavat haittaa. Eettisiä ohjeita tulisi päivittää säännöllisesti, ja niiden tulisi huomioida tekoälyn epäasianmukaisen käytön seuraukset.
- Varmista tiedon luotettavuus ja läpinäkyvyys tekoälyjärjestelmien suunnittelun lähtökohtana – muista EU-tekoälyasetuksen roolit
Läpinäkyvyys on tärkeä osa tekoälyjärjestelmien kehitystä alusta alkaen, tarkoittaen erityisesti tekoälymallien kehityksen, käytetyn datan ja päätöksentekoprosessien selkeää dokumentointia. Sidosryhmien tulee voida ymmärtää ja tarvittaessa haastaa tekoälyn päätökset. KIRA-alan tekoälysovelluksissa on tärkeää, että algoritmin päätöksenteko on läpinäkyvä ja arvioitavissa erityisesti turvallisuuskriittisissä tekoälysovelluksissa. Muista EU-tekoälyasetuksen tuomat velvoitteet ja roolisi.
- Muista tekoälytiedon käsittelyyn selkeät vastuumekanismit
Tekoälyjärjestelmille on luotava vastuullisuusmekanismit, jotka kertovat miten tekoälyjärjestelmän tulee lähtökohtaisesti toimia. Toisaalta tekoälyjärjestelmän epäonnistumis- tai vahinkotilanteissa vastuiden tulee olla selkeät. Tähän voidaan käyttää hallintamalleja, jotka jakavat vastuut kehittäjien, käyttäjien ja operaattoreiden välillä.
Lue lisää
Luotettavuus (Reliability): Tekoälyn luotettavuus viittaa erityisesti järjestelmien kykyyn toimia johdonmukaisesti sekä tuottaa luotettavia tuloksia. Tämä kyky liittyy läheisesti datan eheyteen ja laatuun. Luotettavat tekoälyjärjestelmät ovat erityisen tärkeitä tilanteissa, joissa niitä hyödynnetään turvallisuuteen ja projektin onnistumiseen liittyvässä päätöksenteossa.
Seuranta (Tracking): Viittaa mekanismeihin, joilla valvotaan ja kirjataan tekoälyjärjestelmien toimintaa ja päätöksiä. Seuranta on olennaista esimerkiksi auditoinnin ylläpitämiseksi sekä mahdollisten virheiden tai vinoumien tunnistamiseksi.
Jäljitettävyys (Traceability): Kuvaa kykyä seurata tekoälyllä johdetun prosessin koko polkua, mukaan lukien käytetty data, tehdyt päätökset ja niistä aiheutuvat toimet. Jäljitettävyyden ylläpitämisellä varmistetaan, että kaikki tekoälytoiminnot on dokumentoitu ja ne voidaan tarkastaa eettisten standardien mukaisesti.
Päivitettävyys (Updatability): Tekoälyjärjestelmiin tai -malleihin tulee voida päivittää tietoa niiden muuttuessa, jotta ne antavat käyttäjälleen ajantasaisen tiedon.
Turvallisuus (Safety): Tekoälyä tulee käyttää tavalla, joka ei vaaranna työntekijöiden tai minkään sidosryhmän turvallisuutta. Tekoälyn suositukset, erityisesti turvallisuuden kannalta kriittisissä tilanteissa, tulee arvioida huolellisesti ihmisasiantuntijoiden toimesta. Luotettavan datan ylläpito ja läpinäkyvien prosessien toteuttaminen on tärkeää varsinkin turvallisuuden kannalta.
Datan eheys ja tarkkuus / laatu (Data Integrity & Accuracy / Quality): Viittaa tekoälyjärjestelmien käyttämän datan yleiseen oikeellisuuteen, johdonmukaisuuteen ja luotettavuuteen. Laadukas data on olennaista, jotta tekoäly toimisi tehokkaasti, erityisesti tilanteissa, jossa data ohjaa kriittisiä päätöksiä. Datan validointi, puhdistus ja päivittäminen ovat keskeisiä käytäntöjä datan eheyden ylläpitämiseksi.
Selitettävyys ja tulkittavuus (Explainability and Interpretability): Kuvaavat tekoälyjärjestelmien kykyä tehdä päätöksentekoprosessinsa ymmärrettäväksi käyttäjille ja sidosryhmille. Tämä eroaa ”mustan laatikon” tekoälystä, jossa päätösten taustalla oleva logiikka on läpinäkymätöntä.
Läpinäkyvyys (Transparency): Käyttäjät ja sidosryhmät voivat selkeästi ymmärtää, miten tekoälyalgoritmit tekevät päätöksiä. Edellyttää avointa viestintää tekoälyn menetelmistä, datasta ja sen tuotosten taustalla olevasta logiikasta. Läpinäkyvyys on avain luottamuksen rakentamiseen tekoälyjärjestelmiin.
Oikeudenmukaisuus / Vinouma (Fairness/Bias): Viittaa tekoälyjärjestelmien eettiseen velvollisuuteen välttää tiettyjen ryhmien suosimista toisten kustannuksella. Vinouma voi johtua esimerkiksi käytettävästä datasta, algoritmista tai ihmisen vaikutuksesta, mikä voi johtaa syrjintään. Oikeudenmukaisuus edellyttää, että tekoälyjärjestelmiä koulutetaan monipuolisilla ja edustavilla tietojoukoilla, ja niitä auditoidaan säännöllisesti vinouman varalta.
Vastuullisuus (Accountability): Vastuullisuudella tarkoitetaan selkeitä mekanismeja, jotka osoittavat vastuun tekoälyjärjestelmien toimista ja tuloksista. Jos tekoälyjärjestelmä epäonnistuu tai aiheuttaa vahinkoa, tulee olla selvää, kuka on vastuussa. Vastuullisuuskehykset ovat olennaisia sen varmistamiseksi, että tekoälyn väärinkäytöksillä on seurauksia.
Luottamus (Trust): Luottamuksen rakentaminen tekoälyteknologiaan on ratkaisevan tärkeää rakennusalalla. Luottamuksen rakentaminen edellyttää sen varmistamista, että tekoälyjärjestelmät ovat luotettavia, tarkkoja, turvallisia ja käyttäjien odotusten mukaisia. Läpinäkyvyys ja selkeä viestintä tekoälyjärjestelmien ja niiden käyttäjien välillä ovat avain luottamuksen vahvistamiseen.
Philipsson Fredrik, 2024, Building Trust in AI Ethics, käytetty 10.12.2024, https://redresscompliance.com/building-trust-in-ai-a-guide-to-ethical-considerations/
EU-komissio, EUROOPAN PARLAMENTIN JA NEUVOSTON ASETUS (EU) 2024/1689, linkki: https://eur-lex.europa.eu/legal-content/FI/TXT/?uri=CELEX%3A32024R1689, käytetty 10.12.2024,
Ferrara, Emilio, Fairness And Bias in Artificial Intelligence: A Brief Survey of Sources, Impacts, And Mitigation Strategies, (2023), linkki: https://www.researchgate.net/publication/370071122_Fairness_And_Bias_in_Artificial_Intelligence_A_Brief_Survey_of_Sources_Impacts_And_Mitigation_Strategies
Ci-Jyun Liang, Thai-Hoa Le, Youngjib Ham, Bharadwaj R.K. Mantha, Marvin H. Cheng, Jacob J. Lin, Ethics of artificial intelligence and robotics in the architecture, engineering, and construction industry, Automation in Construction, Volume 162, 2024, 105369, ISSN 0926-5805, Linkki: https://www.sciencedirect.com/science/article/pii/S0926580524001055
Weber-Lewerenz, B., Corporate digital responsibility (CDR) in construction engineering—ethical guidelines for the application of digital transformation and artificial intelligence (AI) in user practice. SN Appl. Sci. 3, 801 (2021). https://doi.org/10.1007/s42452-021-04776-1
Euroopan komissio, Tekoälyasetuksen faktasivusto (2024), linkki: https://www.euaiact.com/key-issue/5, käytetty 10.12.2024,
Yleisradio, vastuullisen tekoälyn periaatteet, linkki https://yle.fi/aihe/a/20-10005659, käytetty 10.12.2024,
Poikola Antti, Markkanen Jouni, Parkkila Janne, Tietopolitiikan käsikirja (2024), linkki https://tietopolitiikka.fi/2024/11/14/kasikirja-tekoalysta-paatoksentekijoille/ käytetty: 10.12.2024
Emaminejad, Newsha & North, Alexa & Akhavian, Reza. (2022). Trust in AI and Implications for AEC Research: A Literature Analysis. 295-303. 10.1061/9780784483893.037. linkki: https://www.researchgate.net/publication/360826085_Trust_in_AI_and_Implications_for_AEC_Research_A_Literature_Analysis,
Swanand Deodhar, Favour Borokini, Ben Waber. How Companies Can Take a Global Approach to AI Ethics, Harward Business Review, 2024, linkki: https://hbr.org/2024/08/how-companies-can-take-a-global-approach-to-ai-ethics, käytetty 10.12.2024,