Preferring Shorter Thinking Chains for Improved LLM

Предпочтение более коротких цепочек рассуждений для улучшения логических способностей LLM Резюме (Русский) Большие языковые модели часто полагаются на генерацию длинных «цепочек рассуждений» для выполнения сложных логических задач. Эта стратегия, хотя и эффективна, влечет за собой значительные вычислительные затраты и увеличивает время инференса. Эта работа оспаривает общепринятое мнение о том, что более длинные цепочки рассуждений обязательно приводят к лучшим логическим выводам. Эмпирические данные показывают, что более короткие цепочки рассуждений для данного вопроса значительно чаще оказываются правильными по сравнению с более длинными. Основываясь на этом наблюдении, авторы предлагают short-m@k — новый метод инференса для логического вывода LLM. Этот метод запускает k параллельных генераций и останавливает вычисления, как только первые m завершают свой мыслительный процесс. Окончательный ответ затем определяется путем голосования по большинству среди результатов этих завершенных более коротких цепочек. Оценки показывают, что short-1@k работает сопоставимо или лучше, чем стандартное голосование по большинству в условиях низких вычислительных мощностей с меньшими затратами. Вариант short-3@k последовательно превосходит голосование по большинству по точности при любых вычислительных бюджетах, одновременно значительно сокращая общее время выполнения. Дополнительные эксперименты показывают, что обучение LLM на наборах данных, акцентирующих внимание на более коротких траекториях рассуждений, повышает производительность и эффективность. документ - https://arxiv.org/pdf/2505.17813v1 подписаться - https://t.me/arxivdotorg создано с помощью NotebookLM