Ketika saya memikirkan ini, satu hal terus terlintas di pikiran.... Apakah yang kita sebut benchmark benar-benar mencerminkan kinerja nyata, atau hanya cerminan dari lingkungan yang terkontrol?
Apa yang ingin saya katakan sebenarnya adalah -
Di atas kertas, angka-angka selalu terlihat bersih tetapi dalam kenyataannya, sistemnya tidak pernah bersih. Kinerja yang ditunjukkan oleh @OpenLedger ModelFactory adalah hal pertama yang menarik perhatian. Dibandingkan dengan metode p-tuning konvensional, tuning ModelFactory LoRA mencapai kecepatan pelatihan hingga 3,7 kali lebih cepat - ini bukan peningkatan yang kecil. Bukan hanya kecepatan tetapi peningkatan dalam skor ROUGE dalam tugas nyata seperti generasi teks iklan menunjukkan bahwa kualitas output juga stabil. Ini berarti bahwa bukan hanya optimasi yang hadir tetapi efisiensi + kualitas juga didorong bersamaan.