Promptok és generálási paraméterek tervezése és kombinálása úgy, hogy kisebb nyelvi modellek is használható szöveget adjanak.
Projektigény
Projektdokumentumok generálása kisebb, ingyenes modellekkel, minimális hardveren.
Technikai kérdés
Mely promptolási technikák és paraméterek adnak használható kimenetet több kisebb modellnél?
Validáció
A technikákat külön és kombinálva is teszteltem öt modellen; a kimenetet aszerint ítéltem meg, mennyire felel meg a felhasználói elvárásoknak.
Döntés
Megmaradt az a közös konfiguráció, amely mind az öt modellnél megfelelően teljesített.
Az eredmények feladat- és modellspecifikusak: ami az egyik modellnél javít, a másiknál ronthat.
A promptokat és a generálási paramétereket egy Python szolgáltatási réteg állítja össze, majd Hugging Face text-generation pipeline-nak adja át.