Zaskakująco niedrogie AI Chatbot Deepseek rzuca wyzwanie gigantom branżowym. Oceniając się „Zapytaj cokolwiek, uzyskaj zaskakującą odpowiedź”, AI Deepseek stała się głównym konkurentem rynku, nawet powodując znaczne spadki ceny akcji NVIDIA. Jego sukces wynika z unikalnej kombinacji innowacyjnej technologii i znacznych, choć nieujawnionych inwestycji.
Obraz: engame.com
Kluczowe postępy technologiczne obejmują:
- Prognozy wielu tokenów (MTP): Prognozuje wiele słów jednocześnie, zwiększając dokładność i wydajność.
- Mieszanka ekspertów (MOE): Zastosuje 256 sieci neuronowych, aktywując osiem dla każdego tokena, przyspieszając szkolenie i poprawiając wydajność.
- Uczciwa uwaga wielowłócona (MLA): Wielokrotnie wyodrębnia kluczowe informacje z fragmentów tekstu, minimalizując ryzyko przeoczenia kluczowych szczegółów.
Deepseek początkowo stwierdził, że koszt szkolenia w wysokości 6 milionów dolarów dla swojego modelu Deepseek V3 przy użyciu GPU 2048. Jednak semianaliza ujawniła o wiele bardziej rozległą infrastrukturę, obejmującą około 50 000 GPU NVIDIA HOPPER (w tym jednostki H800, H100 i H20) w wielu centrach danych. Ta infrastruktura stanowi całkowitą inwestycję serwerową w wysokości około 1,6 miliarda USD, a wydatki operacyjne szacują na 944 mln USD.
Obraz: engame.com
Deepseek, spółka zależna od High-Flyer, chińskiego funduszu hedgingowego, jest właścicielem swoich centrów danych, zapewniając kontrolę nad optymalizacją i szybszą wdrażaniem innowacji. Jego status samofinansowany zwiększa zwinność. Firma przyciąga najlepsze talenty, a niektórzy badacze zarabiają ponad 1,3 miliona dolarów rocznie, głównie z chińskich uniwersytetów.
Początkowa liczba 6 mln USD prawdopodobnie odzwierciedla jedynie koszty GPU przed treningiem, wykluczając badania, udoskonalenie, przetwarzanie danych i ogólne wydatki infrastrukturalne. Całkowita inwestycja Deepseek w AI przekracza 500 milionów dolarów. Jego usprawniona struktura pozwala na wydajne innowacje w porównaniu z większymi, bardziej biurokratycznymi konkurentami.
Obraz: engame.com
Podczas gdy sukces Deepseeka pokazuje potencjał konkurencyjny dobrze finansowanej niezależnej firmy AI, roszczenie „rewolucyjne budżet” jest mylące. Ich sukces przypisuje się znacznym inwestycjom, przełomom technologicznym i silnym zespołowi. Jednak nawet przy tych znacznych wydatkach koszty Deepseek pozostają znacznie niższe niż konkurenci. Na przykład model R1 Deepseek kosztował 5 milionów dolarów, w porównaniu do 100 milionów dolarów CHATGPT4.
Obraz: engame.com
