Model Le Chat firmy Mistral AI zyskał znaczną uwagę w społeczności chatbotów AI, a niektórzy obserwatorzy opisują go jako potencjalnego konkurenta ChatGPT, pomimo jego niedawnego pojawienia się.
Ale czy ten nowy chatbot naprawdę zasługuje na ten tytuł? Czy Le Chat od Mistral AI jest lepszy niż ChatGPT? Sprawdź Powody, dla których warto zacząć używać Claude 3 zamiast ChatGPT.
Szybkie linki
Czym jest model Le Chat firmy Mistral AI?
Le Chat to chatbot oparty na sztucznej inteligencji (AI), opracowany przez francuski startup Mistral AI. Działa w oparciu o kilka zastrzeżonych modeli dużych języków (LLM), w tym Mistral Large, Mistral Small i Mistral Next, z których każdy można wybrać do interakcji z chatbotem AI. Pomimo tego, że jest stosunkowo nowym graczem na rynku chatbotów, jest wysoko oceniany za wydajność swoich modeli AI, pomimo ich niewielkich rozmiarów w porównaniu z takimi gigantami branży, jak Gemini i GPT-4.
Aby zrozumieć, co to oznacza, wyobraź sobie zabawę klockami. Im więcej klocków, tym bardziej złożone i szczegółowe struktury możesz zbudować, prawda? Modele językowe sztucznej inteligencji (AI) są trochę podobne. Występują w różnych rozmiarach, zazwyczaj wyrażanych liczbą parametrów. Być może słyszałeś już terminy takie jak „parametry 70B” lub „parametry 70B” w modelach AI. Liczba parametrów jest podobna do liczby podstawowych elementów, które model musi zrozumieć i wokół których musi generować odpowiedzi. Zatem im więcej parametrów ma model językowy, tym bardziej złożony i lepszy jest w stanie zrozumieć i generować odpowiedzi.
Podczas gdy GPT-4 ma około 1.76 biliona parametrów, szacuje się, że Mistral AI ma ich od 7 do 56 miliardów. Widzisz różnicę w rozmiarze? Zatem zdolność Mistral AI do zapewnienia przyzwoitej wydajności jest jednym z powodów tego szumu.
Chociaż Le Chat nie ma takiego rozgłosu ani brandingu jak ChatGPT czy Gemini, pojawia się w każdej rozmowie o potencjalnym konkurencie ChatGPT. Ale czy naprawdę zasługuje na miejsce przy stole?
Zastanawiałem się nad tym samym i aby się o tym przekonać, dokładnie przetestowałem Le Chat, aby porównać go z ChatGPT. Sprawdź: GitHub Copilot czy ChatGPT: Który jest lepszy do zadań programistycznych?
Le Chat vs. ChatGPT: Kreatywność
Kreatywność to jeden z najważniejszych wskaźników oceny wydajności chatbota opartego na sztucznej inteligencji. Należy pamiętać, że celem chatbota jest naśladowanie lub imitowanie ludzkich umiejętności konwersacyjnych i kreatywności na dużą skalę. To sprawia, że kreatywność jest niezwykle ważną zaletą każdego chatbota opartego na sztucznej inteligencji. Świat testuje ChatGPT od ponad roku, a jego potencjał kreatywny jest niezaprzeczalny. Ale jak wypada w porównaniu z Le Chat? Poddaliśmy oba chatboty serii testów kreatywności.
Zacząłem od zadania obu chatbotom pytania: „Jak opisałbyś siebie artyście?”, aby sprawdzić, czy każdy z nich potrafi używać kreatywnych i pomysłowych słów do przedstawienia siebie.
Oto jak ChatGPT opisuje siebie artyście:
Oto jak Le Chat opisuje sam siebie:
Obie odpowiedzi były trafne na swój własny, unikalny sposób. ChatGPT bardziej skupiał się na opisaniu siebie za pomocą sugestywnych obrazów i metafor, demonstrując kreatywność. Odpowiedź Le Chat jest natomiast pouczająca i koncentruje się na opisaniu swojej istoty jako chatbota opartego na sztucznej inteligencji. Niektórzy mogliby powiedzieć, że brakuje mu kreatywności i artystycznego podejścia, które prezentuje odpowiedź ChatGPT. Zaryzykuję jednak i powiem, że wolę bardziej atrakcyjną wizualnie odpowiedź Le Chat niż abstrakcyjny opis ChatGPT.
Następnie poprosiłem ChatGPT i Le Chat o napisanie rapu o bogaceniu się dzięki uprawie ogórków – trudnego zadania, które wykorzystaliśmy do przetestowania kreatywności innych chatbotów. Ile rapowych piosenek o ogórkach można znaleźć w sieci?
Oto odpowiedź ChatGPT:
Oto odpowiedź Le Chata:
To może być kwestia subiektywna, ale odpowiedź ChatGPT wydaje się być w tym przypadku najlepszym rozwiązaniem. Teksty Le Chat brzmiały żargonowo i nie przypominały utworów rapera. Aby sprawdzić, jak te teksty brzmiałyby po przekształceniu w muzykę, użyliśmy generatora muzyki. Suno AI Tworzenie muzyki ze słów. W trzech z trzech testów słowa ChatGPT brzmiały znacznie lepiej. Poniżej znajdują się próbki z obu chatbotów, dzięki czemu możesz ocenić, który z nich wypadł lepiej.
Próbki wygenerowane ze słów ChatGPT:
Próbka 1:
Próbka 2:
Próbki stworzone na podstawie tekstów piosenek Le Chat:
Próbka 1:
Próbka 2:
Przetestowałem kilka innych zadań kreatywnych, takich jak pisanie wierszy, esejów i tworzenie trudnych e-maili służbowych, z wykorzystaniem chatbotów opartych na sztucznej inteligencji. Pomimo obiecujących wyników, ChatGPT wyraźnie przewyższył Le Chat we wszystkich przypadkach. Warto zauważyć, że jednym z obszarów, w którym Le Chat był szczególnie mocny, było pisanie esejów, pomimo kilku wymagających technik podpowiedzi. Jednak pod względem ogólnej kreatywności, medal należy się ChatGPT.
Le Chat vs. ChatGPT: Umiejętności programistyczne
Biegła znajomość kodowania stała się warunkiem koniecznym dla popularnych chatbotów. Pisanie porządnego kodu to kluczowa umiejętność, ale aby naprawdę wyróżnić się wśród elity, chatbot oparty na sztucznej inteligencji musi wykazać się umiejętnością tworzenia kodu, który może skutecznie rozwiązywać różnorodne złożone problemy. Wcześniej stworzyliśmy całą aplikację internetową od podstaw z wykorzystaniem ChatGPT, demonstrując jego imponujące możliwości jako narzędzia programistycznego. Ale jak dobrze Le Chat radzi sobie z pisaniem kodu?
Zleciłem obu chatbotom napisanie prostej aplikacji z listą zadań do wykonania, używając CSS, HTML i JavaScript. ChatGPT bez problemu uzyskał dobre wyniki. Skopiowałem wygenerowany kod i wyświetliłem go w przeglądarce. Oto, co wygenerował ChatGPT:
Za każdym razem, gdy powtarzaliśmy polecenie, ChatGPT tworzył funkcjonalną aplikację z listą zadań, wykorzystując różne wzorce. Wygenerowany kod zawsze działał.
Kiedy wypróbowałem ten sam komunikat w Le Chat, wygenerował on kod, który wydawał się czysty, ale po próbie uruchomienia go w przeglądarce, nie zadziałał. Po trzykrotnym powtórzeniu komunikatu, żadna instancja nie wygenerowała kodu, który mógłby wykonać określone zadanie. Nie udało się wykonać podstawowego zadania programistycznego, co jest znakiem ostrzegawczym!
Oczywiście, nie oceniałbym Le Chat na podstawie jednego nieudanego testu. Następnie poprosiłem oba chatboty o wygenerowanie kodu JavaScript i PHP do szyfrowania i deszyfrowania tekstu. W tym drugim teście zarówno ChatGPT, jak i Le Chat wygenerowały funkcjonalny kod, który mógł wykonać zadane zadanie. Jednak wersja Le Chat wyglądała bardziej jak coś, co napisałby niedoświadczony początkujący programista. Kod ChatGPT był natomiast bardziej kompletny i sprawiał wrażenie napisanego przez doświadczonego programistę.
Powtórzyłem kilka innych testów programistycznych, które polegały na wyszukiwaniu i naprawianiu błędów, a ChatGPT konsekwentnie przewyższał Le Chat. W niektórych przypadkach Le Chat nawet nie wiedział, co ma robić. Istnieje duża szansa, że Le Chat może dorównać ChatGPT w niektórych obszarach, ale umiejętności programistyczne wydają się nie być jednym z nich. Sprawdź Zaawansowane alternatywy dla ChatGPT oferujące możliwość automatycznego programowania aplikacji.
Le Chat vs. ChatGPT: zdrowy rozsądek i logiczne rozumowanie
Ciekawym osiągnięciem w dziedzinie chatbotów opartych na sztucznej inteligencji jest ich zdolność do łatwego rozwiązywania złożonych zadań, ale nie radzą sobie z prostymi zadaniami wymagającymi podstawowej wiedzy. Wiele chatbotów, zarówno tych uznanych, jak ChatGPT, jak i nowicjuszy, takich jak Le Chat, ma problemy z rozwiązywaniem zadań wymagających wiedzy i ludzkiego rozumowania. Jak zatem Le Chat i ChatGPT wypadają w tym kontekście?
Zapytałem oba chatboty: „Jeśli masz butelkę 3-litrową i butelkę 5-litrową, jak możesz odmierzyć 4 litry wody, używając butelki 3-litrowej i 5-litrowej?”
ChatGPT rozwiązał problem, wykorzystując smak:
Le Chat podjął się tego samego zadania i udało mu się rozwiązać problem, choć stosując inne podejście.
Oba chatboty uzyskały podobne wyniki w tym teście.
Następnie zadaliśmy obu robotom podchwytliwe pytanie: „Gdyby statek kosmiczny z Marsa rozpadł się na dwie części, z których jedna rozbiłaby się w Oceanie Atlantyckim w pobliżu Brazylii, a druga w Oceanie Spokojnym w pobliżu Japonii, gdzie zostaliby pochowani ocalali?”
ChatGPT wykrył sztuczkę i zareagował odpowiednio:
Le Chat także dostrzegł sztuczkę i zareagował odpowiednio:
Próbowałem bardziej podchwytliwych pytań i zarówno ChatGPT, jak i Le Chat wydają się być bardzo sprawne w radzeniu sobie z logicznymi podpowiedziami i zdrowym rozsądkiem. Jednak w przypadku bardziej złożonych pytań logicznych tylko ChatGPT może udzielić poprawnych odpowiedzi.
Chociaż Le Chat wzbudził pewne zainteresowanie jako potencjalny „konkurent ChatGPT”, nasze testy pokazują, że wciąż ma przed sobą długą drogę rozwoju, zanim będzie mógł konkurować z wiodącymi modelami w świecie chatbotów AI. Chociaż Le Chat wykazał się imponującymi możliwościami w takich obszarach jak zdrowy rozsądek, jego kreatywność i umiejętności programistyczne znacznie odstają od ChatGPT. Francuski startup AI z pewnością wygląda obiecująco, ale szum medialny wokół niego może przyćmić jego możliwości.
Podobnie jak wielu aspirujących konkurentów, Le Chat wymaga ciągłego doskonalenia i szkoleń, zanim będzie gotowy na duże turnieje. Na razie chatboty AI, takie jak ChatGPT, pozostają niekwestionowanymi królami w świecie chatbotów AI. Jednak konkurencja staje się coraz bardziej zatłoczona, więc liderzy nie mogą konkurować wyłącznie swoimi obecnymi możliwościami. Możesz już sprawdzić Osiągnięcie zdolności komputerów do samodzielnego uczenia się: czy inteligentne systemy mogą nabyć zdrowego rozsądku?
