Развитие искусственного интеллекта в последние годы произошло чрезвычайно быстро, и с каждым новым прорывом растут и затраты на его обучение. Последний отчет Stanford 2024 AI Index Report выявил ошеломляющие цифры, связанные с финансированием обучения самых передовых AI моделей, от первых трансформеров до масштабных систем вроде Gemini Ultra.
С начала эры трансформеров
Первая значимая модель трансформер была создана в 2017 году с относительно скромными затратами в размере $930. Эти модели заложили основу для последующих инноваций, таких как GPT-3, разработанного OpenAI, стоимость обучения которого составила уже $4.3 миллиона. Эти числа отражают не только сложность алгоритмов, но и необходимость в значительной вычислительной мощности для их обучения.
Скачок к GPT-4 и Gemini Ultra
С приходом GPT-4, расходы выросли до астрономических $78.4 миллиона, подчеркивая увеличение масштаба и сложности модели по сравнению с предшественниками. Компания OpenAI значительно увеличила количество параметров в GPT-4, что требовало гораздо более значительных вычислительных ресурсов для обучения, тестирования и оптимизации модели.
Но это были не конечные цифры. За GPT-4 последовало развитие модели Gemini Ultra от Google, стоимость обучения которой оценивается в $191.4 миллиона. Это подчеркивает как стремительный рост потребностей в вычислительной мощности, так и усиление конкуренции между крупнейшими технологическими компаниями мира в гонке за созданием наиболее продвинутого искусственного интеллекта.
Экономические и технологические последствия
Такие внушительные инвестиции в обучение AI моделей имеют далеко идущие экономические и технологические последствия. Во-первых, они указывают на значительный барьер для входа в эту область исследований для новых игроков и стартапов, не имеющих доступа к подобным ресурсам. Во-вторых, они поднимают вопросы о воздействии таких мощных моделей на общество и экономику, включая их способность заменять человеческий труд и влиять на рынок труда.
Путь вперед
Несмотря на высокую стоимость, потенциал этих моделей огромен. Они могут улучшать жизнь людей путем создания новых продуктов и услуг, облегчая сложные исследования и обучение, а также предоставляя беспрецедентные возможности для инноваций во множестве отраслей.