Postępy modeli open-source
Galileo, startup specjalizujący się w sztucznej inteligencji, opublikował najnowsze wyniki benchmarku, który pokazuje, że modele open-source coraz bardziej zbliżają się do wydajności ich zamkniętych odpowiedników. Ten trend może znacząco wpłynąć na krajobraz AI, umożliwiając dostęp do zaawansowanych technologii szerszemu gronu użytkowników i przyspieszając innowacje w różnych branżach.
Hallucination Index
W swoim corocznym Hallucination Index Galileo oceniło 22 wiodące modele językowe pod kątem skłonności do generowania błędnych informacji. Chociaż modele zamknięte nadal dominują, różnica w wydajności znacząco się zmniejszyła w ciągu ostatnich ośmiu miesięcy.
Nowi liderzy w rankingu AI
Anthropic’s Claude 3.5 Sonnet, nowy model na rynku, zajął pierwsze miejsce w rankingu, detronizując dotychczasowego lidera, OpenAI. To sygnalizuje zmiany w wyścigu zbrojeń AI, gdzie nowi gracze zaczynają zagrażać dotychczasowym liderom. Claude 3.5 Sonnet wykazał się nie tylko wysoką wydajnością, ale także możliwością obsługi dużych zbiorów danych, co czyni go atrakcyjnym wyborem dla wielu firm.
Efektywność kosztowa a wydajność
Jednym z kluczowych wniosków z badania było również uwzględnienie efektywności kosztowej. Google’s Gemini 1.5 Flash okazał się najtańszą opcją, oferując mocne wyniki za ułamek ceny najlepszych modeli. Taka różnica kosztów może okazać się kluczowa dla firm planujących wdrożenie AI na dużą skalę.
Rosnąca rola modeli open-source
Alibaba’s Qwen2-72B-Instruct osiągnął najlepsze wyniki wśród modeli open-source, co podkreśla rosnącą rolę firm spoza USA w rozwoju AI. To zjawisko wpisuje się w szerszy trend demokratyzacji technologii AI, umożliwiając zespołom na całym świecie tworzenie innowacyjnych produktów. Modele open-source, takie jak Qwen, mogą być wykorzystywane do budowy zaawansowanych aplikacji mobilnych i internetowych, co otwiera nowe możliwości w wielu sektorach.
Zastosowania AI w różnych scenariuszach
Raport Galileo zwraca również uwagę na różne długości kontekstów, od krótkich fragmentów do długich dokumentów, co jest istotne w kontekście rosnącego wykorzystania AI do takich zadań jak podsumowywanie raportów czy odpowiadanie na pytania dotyczące obszernych danych. To podejście pozwala na lepsze zrozumienie możliwości modeli, co jest kluczowe dla firm rozważających wdrożenie AI w różnych scenariuszach.
Mniejsze modele kontra większe
Odkrycie, że mniejsze modele mogą przewyższać większe, sugeruje, że efektywność projektowania może czasami przeważyć nad samą skalą modelu. Może to zmienić kierunek rozwoju AI, koncentrując się bardziej na optymalizacji istniejących architektur niż na prostym zwiększaniu rozmiaru modeli.
