Прорыв AI Deepseek

Удивительно недорогие искусственные боты DeepSeek бросают вызов индустриям. Имея самостоятельное введение «Спросите что-нибудь, получите удивительный ответ», ИИ Deepseek's стал основным конкурентом на рынке, даже вызывая значительные падения цен на акции Nvidia. Его успех связан с уникальным сочетанием инновационных технологий и существенных, хотя и нераскрытых инвестиций.

Изображение: Ensigame.com

Ключевые технологические достижения включают:

• Multi-Token Production (MTP): предсказывает несколько слов одновременно, повышение точности и эффективности.
• Смесь экспертов (MOE): использует 256 нейронных сетей, активируя восемь для каждого токена, ускоряя обучение и повышение производительности.
• Многоугольное скрытое внимание (MLA): Повторно извлекает ключевую информацию из фрагментов текста, сводя к минимуму риск упускать из виду важные детали.

DeepSeek первоначально потребовал всего 6 миллионов долларов за учебную стоимость для своей модели Deepseek V3, используя 2048 графических процессоров. Тем не менее, полуализ выявил гораздо более обширную инфраструктуру, охватывающую приблизительно 50 000 графических процессоров Nvidia Hopper (включая H800, H100 и H20), распространяющиеся по нескольким центрам обработки данных. Эта инфраструктура представляет собой общую инвестицию на сервер в размере примерно 1,6 млрд. Долл. США, при этом эксплуатационные расходы оцениваются в 944 млн. Долл. США.

Изображение: Ensigame.com

DeepSeek, дочерняя компания High-Flyer, китайского хедж-фонда, владеет своими центрами обработки данных, обеспечивая контроль над оптимизацией и более быстрой реализацией инноваций. Его самофинансируемый статус повышает гибкость. Компания привлекает лучших талантов, некоторые исследователи зарабатывают более 1,3 миллиона долларов в год, в основном из китайских университетов.

Первоначальная цифра в 6 миллионов долларов, вероятно, отражает только предварительные затраты на графический процессор, исключая исследования, уточнение, обработку данных и общие расходы на инфраструктуру. Общее количество инвестиций DeepSeek в области развития искусственного интеллекта превышает 500 миллионов долларов. Его оптимизированная структура позволяет эффективно инновациям по сравнению с более крупными, более бюрократическими конкурентами.

Изображение: Ensigame.com

В то время как успех Deepseek демонстрирует конкурентный потенциал хорошо финансируемой независимой компании ИИ, утверждение «революционного бюджета» вводит в заблуждение. Их успех связан с существенными инвестициями, технологическими прорывами и сильной командой. Однако даже с этими значительными расходами расходы DeepSeek остаются значительно ниже, чем конкуренты. Например, модель DeepSeek R1 стоила 5 миллионов долларов на обучение по сравнению с CHATGPT4 на 100 миллионов долларов.

Изображение: Ensigame.com