Dokumentumgenerálás kis nyelvi modellekkel

Projektigény

Webalkalmazás, amely projektleírást és specifikációt fogalmaz meg, nagy modellek futtatására alkalmas hardver nélkül.

Módszer és ellenőrzés

• Öt modell összevetése: DistilGPT2, GPT-Neo 125M, Facebook OPT 125M és 350M, GPT-2 Medium, mind a Hugging Face text-generation pipeline-on.
• Promptolási technikák és generálási paraméterek külön és kombinálva tesztelve.
• Az alkalmazás ugyanazt a promptot minden modellen lefuttatja, és egymás mellett mutatja az eredményt.
• A minőség mércéje az volt, mennyire felel meg a kimenet a felhasználói elvárásoknak, mert a specifikációk minősége számokkal nehezen mérhető.

Eredmények

• Nincs univerzális konfiguráció: ami az egyik modellnél javít, a másiknál ronthat.
• Egy közös, konzervatív konfiguráció mégis mind az öt modellnél megfelelően működött a kijelölt feladaton: temperature 0.3, top_p 0.9, repetition_penalty 1.2, no_repeat_ngram_size 2 és feladatonkénti kimenethossz-korlát.
• A hosszú dokumentum szakaszonként jobban működik: minden szakasznak saját, tárolt promptja van, és a kapcsolódó szakaszok promptja kontextusként hozzáadódik.
• A kiegészítés-stílusú prompt segít a nem utasításra hangolt modelleknél: a prompt a válasz elejével zárul, például „The project title is:”.
• A dokumentumrészek közötti összetett összefüggések kezelése gyenge marad, ehhez finomhangolás kellene.

Döntés

Egy közös mintavételi konfiguráció minden modellre modellenkénti hangolás helyett, és szakaszonkénti generálás a kapcsolódó szakaszokkal mint kontextussal.

Korlátok és nyitott kérdések

• A minőséget emberek ítélték meg, automatikus metrika nélkül.
• Az eredmények a 2025-ben vizsgált öt modellre érvényesek; azóta erősebb kis modellek is megjelentek.
• A modell minden kérésnél újratöltődik, ami lassú; a teljesítményoptimalizálás nyitott.