- 14,827
- 22
- 8 Ноя 2022
SLM применяет метод Монте-Карло для сложных задач.
Исследователи Microsoft Asia представили небольшую языковую модель (SLM) для решения математических задач. В Для просмотра ссылки Войдиили Зарегистрируйся , опубликованной на сервере препринтов arXiv, команда описала технологию и математические подходы, лежащие в основе этой модели, а также ее эффективность на стандартных тестах.
В последние годы крупные технологические компании активно совершенствуют свои крупные языковые модели (LLM), которые уже нашли широкое применение. Однако их работа требует значительных вычислительных мощностей и большого потребления электроэнергии, что делает их дорогими в эксплуатации.
На фоне этих ограничений растет интерес к SLM, более компактным моделям, способным работать на локальных устройствах. Такие модели обычно ориентированы на решение задач в узкой области, например, математики. Новый проект Microsoft сфокусирован не только на решении математических задач, но и на обучении модели рассуждать поэтапно.
Модель, названная rStar-Math, отличается от предыдущих разработок, Для просмотра ссылки Войдиили Зарегистрируйся , другим подходом. Она использует Для просмотра ссылки Войди или Зарегистрируйся для поэтапного анализа задач. Это позволяет разбивать проблему на части, последовательно приходя к решению. Кроме того, rStar-Math выводит процесс своих рассуждений в виде кода на Python и пояснений на естественном языке, что повышает прозрачность работы модели.
Microsoft также разработала rStar-Math с учетом ее интеграции с большими языковыми моделями. Это отражает стратегию, согласно которой будущие LLM могут представлять собой комбинацию множества специализированных SLM. Команда отметила, что rStar-Math уже показала отличные результаты в ряде тестов, а исходный код и данные планируется опубликовать на GitHub.
Исследователи Microsoft Asia представили небольшую языковую модель (SLM) для решения математических задач. В Для просмотра ссылки Войди
В последние годы крупные технологические компании активно совершенствуют свои крупные языковые модели (LLM), которые уже нашли широкое применение. Однако их работа требует значительных вычислительных мощностей и большого потребления электроэнергии, что делает их дорогими в эксплуатации.
На фоне этих ограничений растет интерес к SLM, более компактным моделям, способным работать на локальных устройствах. Такие модели обычно ориентированы на решение задач в узкой области, например, математики. Новый проект Microsoft сфокусирован не только на решении математических задач, но и на обучении модели рассуждать поэтапно.
Модель, названная rStar-Math, отличается от предыдущих разработок, Для просмотра ссылки Войди
Microsoft также разработала rStar-Math с учетом ее интеграции с большими языковыми моделями. Это отражает стратегию, согласно которой будущие LLM могут представлять собой комбинацию множества специализированных SLM. Команда отметила, что rStar-Math уже показала отличные результаты в ряде тестов, а исходный код и данные планируется опубликовать на GitHub.
- Источник новости
- www.securitylab.ru
