Хотите более умное понимание в вашем почтовом ящике? Подпишитесь на наши еженедельные информационные бюллетени, чтобы получить только то, что имеет значение для искусственного интеллекта предприятия, данных и лидеров безопасности. Подписаться сейчас
Команда исследователей из ведущих учреждений, в том числе Университета Шанхай Цзяо Тонга и Университета Чжэцзян, разработала то, что они называют первой «операционной системой памяти» для ИИ, уступив фундаментальному ограничению, которое препятствовало моделям от достижения человеческой постоянной памяти и обучения.
Система, называемая Memos, рассматривает память как основной вычислительный ресурс, который может быть запланирован, обмен и развивается с течением времени — аналогично тому, как традиционные операционные системы управляют ресурсами процессора и хранения. Исследование, опубликованное 4 июля на ARXIV, демонстрирует значительные улучшения производительности по сравнению с существующими подходами, в том числе повышение на 159% во временных рассуждениях по сравнению с системами памяти OpenAI.
«Большие языковые модели (LLMS) стали важной инфраструктурой для искусственного общего интеллекта (AGI), однако их отсутствие четко определенных систем управления памятью препятствует развитию рассуждений, постоянной персонализации и согласованности знаний»,-пишут исследователи в своей статье.
Системы ИИ борются с постоянной памятью между разговорами
Текущие системы ИИ сталкиваются с тем, что исследователи называют проблемой «Силос памяти»-фундаментальным архитектурным ограничением, которое мешает им поддерживать когерентные, долгосрочные отношения с пользователями. Каждый разговор или сеанс по существу начинаются с нуля, с моделями, которые не могут сохранить предпочтения, накопленные знания или поведенческие модели между взаимодействиями. Это создает разочаровывающий пользовательский опыт, потому что помощник искусственного интеллекта может забыть о диетических ограничениях пользователя, упомянутых в одном разговоре, когда его спрашивают о рекомендациях ресторана в следующем.
В то время как некоторые решения, такие как поиск-август (RAG), пытаются решить эту проблему, привлекая внешнюю информацию во время разговоров, исследователи утверждают, что они остаются «обходными путями без сохранения состояния без контроля жизненного цикла». Проблема проходит глубже, чем простой поиск информации — речь идет о создании систем, которые могут по -настоящему изучать и развиваться из опыта, так же, как это делает человеческая память.
«Существующие модели в основном полагаются на статические параметры и кратковременные контекстуальные состояния, ограничивая их способность отслеживать предпочтения пользователей или обновлять знания в течение длительных периодов»,-объясняет команда. Это ограничение становится особенно очевидным в настройках предприятия, где ожидается, что системы ИИ будут поддерживать контекст в сложных многоэтапных рабочих процессах, которые могут охватывать дни или недели.
Новая система обеспечивает значительные улучшения в задачах рассуждения искусственного интеллекта
Memos представляет фундаментально другой подход через то, что исследователи называют «Memcubes» — стандартизированными единицами памяти, которые могут инкапсулировать различные типы информации и составлять, мигрировать и развиваться с течением времени. Они варьируются от явных текстовых знаний до адаптаций на уровне параметров и состояний активации в модели, создавая унифицированную структуру для управления памятью, которой ранее не было.
Тестирование на тесте Locomo, который оценивает интенсивные память задач, воспоминания последовательно превосходили установленные базовые показатели во всех категориях. Система достигла общего улучшения на 38,98% по сравнению с реализацией памяти Openai, с особенно сильным успехом в сложных сценариях рассуждений, которые требуют соединительной информации в течение нескольких поворотов разговора.
«Memos (Memos-0630) последовательно занимают первое место во всех категориях, опережая сильные базовые показатели, такие как MEM0, Langmem, ZEP и OpenAI-память, с особенно большими маржами в сложных условиях, таких как мульти-хоп и временные рассуждения»,-говорится в исследовании.
Система также обеспечила существенные повышения эффективности, причем до 94% снижение задержки до первого отростка в определенных конфигурациях посредством его инновационного механизма впрыскивания памяти кэша.
Эти повышения производительности предполагают, что узкое место памяти было более значительным ограничением, чем ранее понятно. Рассматривая память как первоклассный вычислительный ресурс, записки, по-видимому, разблокируют возможности рассуждений, которые ранее были ограничены архитектурными ограничениями.
Технология может изменить то, как предприятия развертывают искусственный интеллект
Последствия для развертывания ИИ предприятия могут быть преобразующими, особенно в связи с тем, что предприятия все чаще полагаются на системы ИИ для сложных, постоянных отношений с клиентами и сотрудниками. Memos позволяет исследователям, которые описывают как «кроссплатформенную миграцию памяти», позволяя воспоминаниям ИИ быть портативными на разных платформах и устройствах, разбивая то, что они называют «островами памяти», которые в настоящее время затрагивают пользовательский контекст в определенных приложениях.
Рассмотрим текущее разочарование, которое испытывают многие пользователи, когда Insights, изученные на одной платформе искусственного интеллекта, не может перенести в другую. Маркетинговая команда может разработать подробные персонажи клиентов в ходе разговоров с CHATGPT, только для того, чтобы начать с нуля при переходе на другой инструмент искусственного интеллекта для планирования кампании. Memos решает это, создав стандартизированный формат памяти, который может перемещаться между системами.
В исследовании также описывается потенциал для «платных модулей памяти», где эксперты по доменам могут упаковать свои знания в покупки в единицах памяти. Исследователи предполагают сценарии, в которых «студент -медик в клиническом вращении может пожелать изучить, как справиться с редким аутоиммунным состоянием. Опытный врач может инкапсулировать диагностическую эвристику, подчеркивание путей и типичные паттерны в структурированную память», которая может быть установлена и использована другими системами искусственного интеллекта.
Эта модель рынка может в корне изменить то, как специализированные знания распределяются и монетизированы в системах ИИ, создавая новые экономические возможности для экспертов, одновременно демократизируя доступ к высококачественным знаниям области. Для предприятий это может означать быстрое развертывание систем ИИ с глубоким опытом в конкретных областях без традиционных затрат и сроков, связанных с пользовательским обучением.
Трехслойный дизайн отражает традиционные компьютерные операционные системы
Техническая архитектура заметок отражает десятилетия обучения на традиционном проектировании операционной системы, адаптированной для уникальных проблем управления памятью искусственного интеллекта. Система использует трехслойную архитектуру: интерфейсный уровень для вызовов API, операционно-уровни для планирования памяти и управления жизненным циклом, а также уровень инфраструктуры для хранения и управления.
Компонент Memscheduler системы динамически управляет различными типами памяти — от временных состояний активации до постоянных модификаций параметров — выбора оптимальных стратегий хранения и поиска на основе моделей использования и требований задач. Это представляет собой значительный отход от современных подходов, которые обычно рассматривают память как полностью статичную (встроенное в параметры модели), либо полностью эфемерное (ограниченное контекстом разговора).
«Фокус смещается от того, насколько знания модель однажды узнает, может ли она преобразовать опыт в структурированную память и многократно извлекать и реконструировать ее»,-отмечают исследователи, описывая свое видение того, что они называют парадигмами «тренировки мем». Эта архитектурная философия предполагает фундаментальное переосмысление того, как следует разработать системы ИИ, отойти от нынешней парадигмы массивного предварительного обучения к более динамичному, ориентированному на опыт обучения.
Параллели с разработкой операционной системы поразительны. Так же, как ранние компьютеры требовали от программистов вручную управлять распределением памяти, текущие системы ИИ требуют, чтобы разработчики тщательно организовали, как информация протекает между различными компонентами. Memos устраняют эту сложность, потенциально позволяя новое поколение приложений искусственного интеллекта, которые могут быть построены на вершине сложного управления памятью, не требуя глубокого технического опыта.
Исследователи выпускают код в качестве открытого исходного кода для ускорения принятия
Команда выпустила записки в качестве проекта с открытым исходным кодом, с полным кодом, доступным на Github и поддержку интеграции для крупных платформ искусственного интеллекта, включая Huggingface, Openai и Ollama. Эта стратегия с открытым исходным кодом, по-видимому, предназначена для ускорения усыновления и поощрения развития сообщества, а не привлекать собственного подхода, который может ограничить широкую реализацию.
«Мы надеемся, что заметки помогут продвигать системы ИИ от статических генераторов до постоянно развивающихся агентов, управляемых памятью»,-прокомментировал ведущий проект Zhiyu Li в репозитории GitHub. В настоящее время система поддерживает платформы Linux, причем запланирована поддержка Windows и MacOS, что предполагает, что команда определяет приоритет внедрении предприятий и разработчиков в отношении немедленной доступности потребителей.
Стратегия выпуска с открытым исходным кодом отражает более широкую тенденцию в исследованиях искусственного интеллекта, где улучшение фундаментальной инфраструктуры открыто разделяется в пользу всей экосистемы. Этот подход исторически ускорил инновации в таких областях, как рамки глубокого обучения и может иметь аналогичные эффекты для управления памятью в системах искусственного интеллекта.
Технические гиганты гонятся за решением ограничений памяти ИИ
Исследование поступает в то время как крупные компании по искусственному ИИ сталкиваются с ограничениями текущих подходов к памяти, подчеркивая, насколько фундаментальной стал эта проблема для отрасли. Openai недавно представила функции памяти для CHATGPT, в то время как антроп, Google и другие поставщики экспериментировали с различными формами постоянного контекста. Тем не менее, эти реализации, как правило, были ограничены по объему и часто не имеют систематического подхода, который предоставляет записки.
Время этого исследования показывает, что управление памятью стало важным конкурентным полем битвы в разработке ИИ. Компании, которые могут эффективно решить проблему с памятью, могут получить значительные преимущества в удержании и удовлетворении пользователей, поскольку их системы ИИ смогут построить более глубокие, более полезные отношения с течением времени.
Отрадетели промышленности давно предсказывают, что следующий крупный прорыв в ИИ не обязательно будет поступить из более крупных моделей или большего количества учебных данных, но от архитектурных инноваций, которые лучше имитируют человеческие когнитивные возможности. Управление памятью представляет собой именно этот тип фундаментального прогресса — тот, который может разблокировать новые приложения и варианты использования, которые невозможно с текущими системами без сохранности.
Развитие представляет собой часть более широкого сдвига в исследованиях ИИ в сторону более государственных, постоянных систем, которые могут накапливать и развивать знания с течением времени — возможности, которые считаются важными для AGI. Для лидеров предприятия, оценивающих реализации ИИ, записки могут представлять значительный прогресс в построении систем ИИ, которые поддерживают контекст и улучшаются с течением времени, а не рассматривают каждое взаимодействие как изолированное.
Исследовательская группа указывает, что они планируют изучить совместное использование памяти, блоки памяти самоотзывания и более широкую экосистему «рынка памяти». Но, пожалуй, наиболее значительным воздействием меморандумов не будет конкретной технической реализацией, но доказательство того, что обращение с памятью как первоклассного вычислительного ресурса может открыть драматические улучшения в возможностях ИИ. В отрасли, которая в значительной степени сосредоточена на масштабировании размера модели и учебных данных, записки предполагают, что следующий прорыв может быть связан с лучшей архитектурой, а не с большими компьютерами.
Источник
