EKKO: RAG-tjenesten som kan skreddersys til alle!

Er du nysgjerrig på hvordan kunstig intelligens kan forenkle hverdagen og gi tilgang til skreddersydd informasjon på et helt nytt nivå? I denne bloggposten deler vi historien bak utviklingen av vår RAG-løsning, EKKO.

Lær hvordan den kombinerer kraftige språkmodeller med smart informasjonsinnhenting og hvordan den allerede har skapt stor verdi for våre kunder.

Daniel Faaravik Schiøtz Store språkmodeller, såkalte LLMer, har vært det «nye kule» i teknologilandskapet omtrent helt siden OpenAI lanserte chattetjenesten ChatGPT sent i 2022.

Siden den gang har næringslivet stått på for å omstille seg og høste de nye fruktene som kunstig intelligens endelig kan hjelpe med å nå.

Dette har vi merket voldsomt i Append Consulting, med mye interesse for LLM-sentrerte prosjekter fra både eksisterende og nye kunder.

Som svar på dette har vi utviklet vårt eget rammeverk for RAG-løsninger, kalt EKKO . ‍ Hvordan ble EKKO til? I Append har vi lenge sittet på LLM-kompetanse, blant annet gjennom flere LLM-prosjekter for kunden vår Consigli.

Det var derfor veldig interessant for oss når Helsedirektoratet og partnere utlyste prosjektet Enklere tilgang på informasjon (ETI) via StartOff-programmet til DFØ.

Utlysningen til prosjektet beskrev at familier til barn med alvorlig sykdom bruker opp mot 19 timer i uka på å søke etter informasjon om aktuelle tjenester og tilbud, så oppdragsgiver ønsket et produkt som tilgjengeliggjør all relevant informasjon fra offentlig sektor på en god måte.

Vi tilbød en tjeneste som lar familiene gi en enkel beskrivelse av sin situasjon, og få tilbake en full skreddersydd artikkel med all informasjon fra NAV, Udir, Helsenorge m.fl. som akkurat denne familien bør vite om, med kildehenvisninger og sporbarhet.

Hele 21 leverandører leverte tilbud, men vi vant anbudet og leverte som lovet.

I tillegg til at dette ga en hyggelig inntektsboost og nok en fornøyd referanse, innebærer StartOff-programmet at vi sitter igjen med alle rettigheter til produktet vi utviklet.

Dermed ble dette fødselen til tjenesten EKKO, som vi regelmessig tilpasser og leverer til nye kunder. ‍ Hva er EKKO? EKKO er et skjelett for såkalte «Retrieval Augmented Generation» -tjenester (RAG-tjenester).

Det er nemlig slik at språkmodeller er svært gode til å resonnere, så lenge du gir modellene all informasjonen de trenger for å trekke konklusjoner.

Løsningen i praksis er såkalt Retrieval , altså en algoritme som kan finne informasjonen som er mest relevant for en spørring, og gi denne til språkmodellen sammen med den originale spørringen.

I Helsedirektoratets tilfelle kunne dette være å gi språkmodellen Udirs artikler om tilpasset skolegang og Helsenorges artikler om Cerebral Parese, dersom brukeren stiller spørsmål om et barn med denne sykdommen.

I andre tilfeller kan det være å finne dokumenter med lignende prosjekter, dersom det stilles spørsmål om en spesifikk prosjekttype.

Mulighetsrommet er uendelig stort.

Grunnsteinen i retrieval-algoritmer er såkalte embeddingmodeller .