#morpho $MORPHO @Morpho Labs 🦋

Tokeny morfo są zaawansowanym sposobem przetwarzania języka, który łączy tradycyjne tokeny słów oraz proste tokeny znaków. Zamiast traktować całe słowo (np. "bieganie") jako pojedynczą jednostkę, lub dzielić je na poszczególne litery, token morfo dzieli słowo na jego znaczące morfemy (np. "bieg" + "anie").

​Takie podejście pomaga modelom AI:

​Lepiej rozumieć znaczenie i funkcję gramatyczną słów, szczególnie skomplikowanych lub rzadkich.

​Radzić sobie z nowymi słowami (poza słownictwem) poprzez łączenie znanych morfemów.

​Zwiększać wydajność poprzez redukcję ogólnego rozmiaru słownictwa potrzebnego.