Gemini kontra ChatGPT kontra Offline Alpaca: Który model języka jest najlepszy?

Duże modele językowe (LLM) występują w najróżniejszych kształtach i rozmiarach i pomogą Ci w dowolny sposób. Ale który model najlepiej odpowiada Twoim potrzebom? Poddajemy rygorystycznemu testowi dominujące systemy AI, takie jak Alphabet, OpenAI i Meta. Sprawdź ChatGPT kontra Google Gemini: który jest lepszy?

Co musisz wiedzieć o chatbotach opartych na sztucznej inteligencji

Wykorzystanie sztucznej inteligencji jest od dziesięcioleci celem informatyków, a od jeszcze dłuższego czasu także podstawowym zajęciem pisarzy i filmowców science fiction.

Ogólna sztuczna inteligencja wykazuje inteligencję porównywalną ze zdolnościami poznawczymi człowieka, a test Turinga — metoda służąca do określenia, czy komputer lub aplikacja jest w stanie wykazać się ludzką inteligencją — pozostał praktycznie niekwestionowany przez siedem dekad od momentu jego opracowania.

Niedawne upowszechnienie się obliczeń na ogromną skalę, ogromne nakłady inwestycyjne oraz oszałamiająca ilość informacji dostępnych bezpłatnie w otwartym internecie pozwoliły dużym firmom technologicznym na trenowanie modeli, które potrafią przewidzieć następny segment słowa — lub token — w sekwencji symboli.

W chwili pisania tego tekstu oba Google Bliźnięta وChatGPT Możesz używać i testować OpenAI za pośrednictwem udostępnianych przez tę firmę interfejsów internetowych.

Model języka meta, LLaMa, nie jest dostępny w sieci, ale możesz łatwo pobrać i uruchomić LLaMa na swoim urządzeniu, a następnie korzystać z niego za pośrednictwem wiersza poleceń. Możesz też uruchomić na swoim urządzeniu aplikację Dalai — jedną z wielu aplikacji z przyjaznym dla użytkownika interfejsem.

W celach testowych uruchomimy model Alpaca 7B Uniwersytetu Stanforda — adaptację modelu LLaMa — i porównamy go z modelami Gemini i ChatGPT.

Poniższe porównania i testy nie mają charakteru wyczerpującego, a jedynie dają wskazówki co do najważniejszych punktów i możliwości.

Który model LLM jest najłatwiejszy w użyciu?

Zarówno Gemini, jak i ChatGPT wymagają założenia konta, aby korzystać z chatbotów. Utworzenie kont Google i OpenAI jest łatwe i bezpłatne, a Ty możesz od razu zacząć zadawać pytania.

Jednak aby uruchomić LLaMa lokalnie, potrzebna będzie specjalistyczna wiedza lub umiejętność korzystania z samouczka. Potrzebna będzie również znaczna ilość miejsca na dysku.

Który model LLM jest najbardziej prywatny?

Zarówno Gemini, jak i ChatGPT mają obszerne zasady ochrony prywatności, a Google w swojej dokumentacji wielokrotnie zaznacza, że „informacje, które mogłyby posłużyć do zidentyfikowania użytkownika lub pomóc w identyfikacji innych osób, nie powinny być uwzględniane w rozmowach w Gemini”.

Domyślnie Google gromadzi Twoje rozmowy i ogólną lokalizację geograficzną na podstawie Twojego adresu IP, komentarzy i informacji o użytkowaniu. Informacje te są przechowywane na Twoim koncie Google przez maksymalnie 18 miesięcy. Możesz tymczasowo zablokować zapisywanie swojej aktywności w Gemini, pamiętaj jednak, że „aby pomóc w zapewnieniu jakości i ulepszaniu naszych produktów, recenzenci czytają, komentują i przetwarzają Twoje rozmowy w Gemini”.

Korzystanie z Gemini podlega również Aby zapoznać się ze standardową Polityką prywatności Google.

Polityka prywatności OpenAI jest zasadniczo podobna i gromadzi dane dotyczące adresów IP oraz użytkowania. W przeciwieństwie do ograniczonego okresu przechowywania danych Google, OpenAI oświadcza, że „będzie przechowywać Twoje dane osobowe tylko tak długo, jak będzie to potrzebne do świadczenia Ci usług lub do innych uzasadnionych celów biznesowych, takich jak rozstrzyganie sporów, ze względów bezpieczeństwa lub w celu wypełnienia naszych zobowiązań prawnych”.

Natomiast lokalny model na Twoim urządzeniu nie wymaga zakładania konta ani udostępniania danych użytkownika nikomu.

Który model LLM zapewnia najlepszą wiedzę ogólną?

Aby przetestować wiedzę ogólną kandydatów na studia LLM, zadaliśmy im trzy pytania.

Pytanie 1: Która flaga narodowa ma pięć boków? Tylko użytkownik Gemini odpowiedział poprawnie, wskazując, że flaga Nepalu ma pięć ramion.

ChatGPT z przekonaniem twierdzi, że „żadna flaga narodowa nie ma pięciu boków. Flagi narodowe są zazwyczaj prostokątne lub kwadratowe i wyróżniają się charakterystycznymi kolorami, wzorami i symbolami”.

Nasz lokalny model przedstawił następującą koncepcję: „Flaga narodowa Indii ma pięć boków i została zaprojektowana w 1916 roku, aby reprezentować ruch niepodległościowy Indii”. Choć taka flaga istniała i miała pięć boków, była to flaga indyjskiego ruchu samorządowego, a nie flaga narodowa.

Żaden z modeli nie był w stanie odpowiedzieć na stwierdzenie, że prawidłowym terminem opisującym obiekt w kształcie grochu jest „peasy”, a ChatGPT posunął się nawet do zasugerowania, że ​​groch ma „trójwymiarowy kształt geometryczny, który jest idealnie okrągły i symetryczny”.

Wszystkie trzy chatboty prawidłowo zidentyfikowały Franco Malerbę jako włoskiego astronautę i posła do Parlamentu Europejskiego, a Gemini udzielił odpowiedzi sformułowanej podobnie do fragmentu wpisu Malerby w Wikipedii. Sprawdź: ChatGPT kontra Microsoft Bing AI kontra Google Gemini: który chatbot oparty na sztucznej inteligencji jest najlepszy?

Jaki jest odpowiedni model LLM dla instrukcji technicznych?

W przypadku problemów technicznych możesz mieć ochotę zwrócić się o pomoc do chatbota. Chociaż technologia się rozwija, niektóre rzeczy pozostają niezmienne. Wtyczka elektryczna BS 1363 jest używana w Wielkiej Brytanii, Irlandii i wielu innych krajach od 1947 roku. Zapytaliśmy modelki językowe, jak ją prawidłowo podłączyć.

Kable podłączone do wtyczki zawierają przewód fazowy (brązowy), przewód uziemiający (żółto-zielony) i przewód neutralny (niebieski). Muszą być one podłączone do odpowiednich zacisków wewnątrz obudowy wtyczki.

Aplikacja Dalaia poprawnie zidentyfikowała wtyczkę jako „angielską”, ale potem zboczyła z kursu i zamiast tego wyświetliła instrukcje dotyczące starego okrągłego gniazda BS 546 ze starymi kolorami przewodów.

ChatGPT okazał się nieco bardziej pomocny. Poprawnie oznaczył kolory przewodów i dostarczył listę materiałów oraz zestaw ośmiu instrukcji. ChatGPT zasugerował również umieszczenie brązowego przewodu w złączu oznaczonym „L”, niebieskiego przewodu w złączu oznaczonym „N”, a żółtego przewodu w złączu oznaczonym „E”. Byłoby to poprawne, gdyby zaciski były oznaczone normą BS1363, ale tak nie jest.

Gemini zidentyfikował prawidłowe kolory przewodów i poinstruował nas, jak podłączyć je do zacisków fazowych, neutralnych i uziemiających. Nie podał żadnych instrukcji, jak je zidentyfikować.

Naszym zdaniem żaden z chatbotów nie dostarczył wystarczających instrukcji, aby pomóc użytkownikowi prawidłowo podłączyć wtyczkę elektryczną zgodną z normą BS 1363. Krótka i poprawna odpowiedź brzmiałaby: „niebieski po lewej, brązowy po prawej”.

Jaki jest odpowiedni model LLM do pisania kodu?

Python to użyteczny język programowania, który działa na większości współczesnych platform. Poinstruowaliśmy nasze modele, aby korzystały z Pythona i „tworzyły prosty kalkulator, który może wykonywać operacje arytmetyczne, takie jak dodawanie, odejmowanie, mnożenie i dzielenie. Użytkownik musi pobrać dane wejściowe i wyświetlić wynik”. To jeden z najlepszych projektów programistycznych dla początkujących.

Chociaż zarówno Gemini, jak i ChatGPT od razu zwróciły użyteczny, w pełni skomentowany kod, który mogliśmy przetestować i zweryfikować, z naszego lokalnego modelu nie został wygenerowany żaden kod.

Która modelka LLM opowiada najlepsze dowcipy?

Humor jest jednym z fundamentów człowieczeństwa i z pewnością jednym z najlepszych sposobów na odróżnienie ludzi od maszyn. Każdemu chatbotowi zadaliśmy proste pytanie: „Wymyśl oryginalny i zabawny żart”.

Na szczęście dla komików na całym świecie i dla ludzkości w ogóle, żadnemu z modeli nie udało się stworzyć oryginalnego żartu.

Gemini wprowadziła klasykę: „Dlaczego strach na wróble zdobył nagrodę? Była wybitna w swojej dziedzinie”.

Zarówno model lokalny, jak i ChatGPT podsunęły nudny pomysł: „Dlaczego naukowcy nie ufają atomom? Bo z nich składa się wszystko!”

Pochodnym, ale oryginalnym żartem mogłoby być: „W jaki sposób duże modele językowe są podobne do atomów? Oba tworzą rzeczy!”

Zweryfikować ChatGPT potrafi opowiadać dowcipy, ale czy sztuczna inteligencja faktycznie potrafi nas rozśmieszyć?

Nie ma idealnego chatbota.

Odkryliśmy, że chociaż wszystkie trzy główne modele językowe mają swoje zalety i wady, żaden z nich nie może zastąpić prawdziwego ludzkiego doświadczenia i specjalistycznej wiedzy.

Chociaż zarówno Gemini, jak i ChatGPT oferują lepsze odpowiedzi na pytania dotyczące programowania i są bardzo łatwe w użyciu, uruchamianie dużego modelu języka lokalnie oznacza, że nie trzeba martwić się o prywatność ani cenzurę.

Jeśli chcesz tworzyć niesamowite dzieła sztuki oparte na sztucznej inteligencji, nie martwiąc się o to, że ktoś będzie Ci zaglądał przez ramię, możesz łatwo uruchomić artystyczny model sztucznej inteligencji również na swoim komputerze lokalnym. Możesz to sprawdzić już teraz. Jak tworzyć lepszą sztukę dzięki sztucznej inteligencji: porady i wskazówki.

Idź do góry przycisk