Large Language Models and Emergence: A Complex Systems Perspective
Большие языковые модели и эмерджентность: перспектива сложных систем В статье рассматриваются утверждения об эмерджентности в больших языковых моделях (БЯМ) с точки зрения науки о сложности. Эмерджентность в науке о сложности описывает, как многокомпонентные системы проявляют новые свойства более высокого уровня, которые можно свести к описаниям более низкой размерности. Эта концепция подразумевает эффективное грубое зерно, которое отсеивает микроскопические детали, обеспечивая значительную экономию затрат на описание и прогнозирование. Напротив, в литературе по БЯМ эмерджентность часто определяется как прерывистое появление способностей с увеличением масштаба или удивительные возможности, которые не были явно обучены. Авторы утверждают, что истинная эмерджентность в БЯМ требует доказательств лежащей в основе структурной реорганизации, такой как сжатие или новые внутренние базисы. Они различают эмерджентность "знания-извне", возникающую из простых компонентов, и эмерджентность "знания-изнутри", возникающую из сложных сред или обучения, помещая БЯМ в последнюю категорию. Оценка эмерджентности в БЯМ требует анализа как макроскопического поведения, так и микроскопических сетевых механизмов, а не только скачков во внешней производительности. Предлагается структура, включающая такие принципы, как масштабирование, критичность, сжатие и обобщение, для более строгой оценки. Кроме того, в статье различаются эмерджентные способности и эмерджентный интеллект, который включает в себя эффективное, обобщаемое решение задач и проведение аналогий, типичное для человеческого мышления. В конечном итоге, авторы выступают за применение подхода науки о сложности для оценки того, действительно ли явления БЯМ представляют собой эмерджентность или лучше описываются как сложное обучение или программирование. документ - https://arxiv.org/pdf/2506.11135v1 подписаться - https://t.me/arxivdotorg создано с помощью NotebookLM
Большие языковые модели и эмерджентность: перспектива сложных систем В статье рассматриваются утверждения об эмерджентности в больших языковых моделях (БЯМ) с точки зрения науки о сложности. Эмерджентность в науке о сложности описывает, как многокомпонентные системы проявляют новые свойства более высокого уровня, которые можно свести к описаниям более низкой размерности. Эта концепция подразумевает эффективное грубое зерно, которое отсеивает микроскопические детали, обеспечивая значительную экономию затрат на описание и прогнозирование. Напротив, в литературе по БЯМ эмерджентность часто определяется как прерывистое появление способностей с увеличением масштаба или удивительные возможности, которые не были явно обучены. Авторы утверждают, что истинная эмерджентность в БЯМ требует доказательств лежащей в основе структурной реорганизации, такой как сжатие или новые внутренние базисы. Они различают эмерджентность "знания-извне", возникающую из простых компонентов, и эмерджентность "знания-изнутри", возникающую из сложных сред или обучения, помещая БЯМ в последнюю категорию. Оценка эмерджентности в БЯМ требует анализа как макроскопического поведения, так и микроскопических сетевых механизмов, а не только скачков во внешней производительности. Предлагается структура, включающая такие принципы, как масштабирование, критичность, сжатие и обобщение, для более строгой оценки. Кроме того, в статье различаются эмерджентные способности и эмерджентный интеллект, который включает в себя эффективное, обобщаемое решение задач и проведение аналогий, типичное для человеческого мышления. В конечном итоге, авторы выступают за применение подхода науки о сложности для оценки того, действительно ли явления БЯМ представляют собой эмерджентность или лучше описываются как сложное обучение или программирование. документ - https://arxiv.org/pdf/2506.11135v1 подписаться - https://t.me/arxivdotorg создано с помощью NotebookLM