Nowa technika porównywania modeli AI
Nowa technika pozwala użytkownikom porównywać kilka dużych modeli i wybierać ten, który najlepiej spełnia ich zadania. Modele fundamentowe to ogromne modele głębokiego uczenia, które zostały wstępnie wytrenowane na dużej ilości danych ogólnego przeznaczenia. Mogą być stosowane do różnych zadań, takich jak generowanie obrazów czy odpowiadanie na pytania klientów. Jednak te modele, stanowiące podstawę potężnych narzędzi AI, takich jak ChatGPT i DALL-E, mogą podawać nieprawidłowe lub mylące informacje. W sytuacjach krytycznych dla bezpieczeństwa, takich jak pieszy zbliżający się do autonomicznego samochodu, te błędy mogą mieć poważne konsekwencje.
Szacowanie wiarygodności modeli
Aby zapobiec takim błędom, naukowcy z MIT oraz MIT-IBM Watson AI Lab opracowali technikę szacowania wiarygodności modeli fundamentowych przed ich zastosowaniem do konkretnych zadań. Rozważają oni zestaw modeli fundamentowych, które różnią się nieznacznie między sobą, a następnie za pomocą algorytmu oceniają spójność reprezentacji, które każdy model uczy się na tych samych danych testowych. Jeśli reprezentacje są spójne, oznacza to, że model jest wiarygodny.
Porównanie z innymi metodami
W porównaniu z najnowocześniejszymi metodami bazowymi, technika ta lepiej uchwyciła wiarygodność modeli fundamentowych w różnych zadaniach klasyfikacyjnych. Może być używana do decydowania, czy model powinien być zastosowany w określonym kontekście, bez konieczności testowania go na rzeczywistym zbiorze danych, co jest szczególnie przydatne, gdy dostęp do danych jest ograniczony ze względu na prywatność.
Wyzwania w kwantyfikacji niepewności
„Wszystkie modele mogą być błędne, ale modele, które wiedzą, kiedy są błędne, są bardziej użyteczne. Problem kwantyfikacji niepewności lub wiarygodności jest bardziej wyzwaniem dla tych modeli fundamentowych, ponieważ ich abstrakcyjne reprezentacje są trudne do porównania. Nasza metoda pozwala na określenie, jak wiarygodna jest reprezentacja modelu dla dowolnych danych wejściowych.” – mówi główny autor Navid Azizan, profesor na MIT.
Ocena wiarygodności modeli
Modele tradycyjnego uczenia maszynowego są trenowane do wykonywania konkretnego zadania i zazwyczaj dokonują przewidywań na podstawie danych wejściowych. Ocena wiarygodności polega wtedy na sprawdzeniu, czy przewidywania modelu są poprawne. Jednak modele fundamentowe, wstępnie trenowane na danych ogólnych, są przystosowywane do konkretnych zadań po ich treningu. Nie generują konkretnych wyników, jak etykiety „kot” czy „pies”, ale tworzą abstrakcyjne reprezentacje na podstawie danych wejściowych.
Pomiar konsensusu między modelami
Naukowcy użyli podejścia ensemble, trenując kilka modeli, które mają wiele wspólnych cech, ale różnią się nieznacznie. Mierzą konsensus między tymi modelami. Jeśli wszystkie modele dają spójne reprezentacje dla danych w zbiorze testowym, można uznać model za wiarygodny. Rozwiązali problem porównywania abstrakcyjnych reprezentacji, stosując koncepcję spójności sąsiedztwa.
Zestaw punktów referencyjnych
Przygotowują zestaw wiarygodnych punktów referencyjnych do testowania na zbiorze modeli, a następnie sprawdzają punkty referencyjne znajdujące się blisko reprezentacji punktu testowego każdego modelu. Analizując spójność punktów sąsiednich, mogą ocenić wiarygodność modeli.
Mapowanie danych do przestrzeni reprezentacyjnej
Modele fundamentowe mapują punkty danych do przestrzeni reprezentacyjnej, którą można sobie wyobrazić jako sferę. Każdy model mapuje podobne punkty danych do tej samej części swojej sfery, więc obrazy kotów znajdują się w jednym miejscu, a obrazy psów w innym. Naukowcy używają punktów sąsiednich jako kotwic do wyrównania tych sfer, aby można było porównać reprezentacje. Jeśli sąsiedzi punktu danych są spójni w różnych reprezentacjach, można być pewnym wiarygodności wyjścia modelu dla tego punktu.
Testowanie metody na zadaniach klasyfikacyjnych
Testując to podejście na szerokim zakresie zadań klasyfikacyjnych, stwierdzono, że jest ono znacznie bardziej spójne niż metody bazowe i nie myli się przy trudnych punktach testowych, które sprawiają problem innym metodom. Metoda ta może być użyta do oceny wiarygodności dla dowolnych danych wejściowych, co pozwala ocenić, jak dobrze model działa dla określonej osoby, np. pacjenta o określonych cechach.
Ograniczenia i przyszłe plany
Jednak ograniczenie wynika z konieczności trenowania zespołu modeli fundamentowych, co jest kosztowne obliczeniowo. W przyszłości planuje się znalezienie bardziej efektywnych sposobów budowy wielu modeli, na przykład poprzez małe perturbacje jednego modelu.
