# Falcon3

## Обзор

[Falcon3](https://falconllm.tii.ae/falcon3/index.html) представляет собой естественное развитие предыдущих версий, с акцентом на расширение возможностей моделей в области науки, математики и программирования. В эту итерацию входят пять базовых моделей: Falcon3-1B-Base, Falcon3-3B-Base, Falcon3-Mamba-7B-Base, Falcon3-7B-Base и Falcon3-10B-Base. При разработке этих моделей мы внедрили несколько ключевых инноваций, направленных на улучшение производительности моделей при снижении затрат на обучение:

Единая предобучающая фаза: мы провели один крупномасштабный прогон предобучения для модели 7B, используя 2048 GPU-чипов H100 и 14 триллионов токенов, включающих веб-данные, код, STEM-материалы, а также отобранные высококачественные и многоязычные данные. Увеличение глубины для улучшения рассуждений: опираясь на недавние исследования влияния глубины модели, мы расширили модель 7B до модели с 10B параметров, дублируя избыточные слои и продолжив предобучение на 2 триллионах токенов высококачественных данных. В результате получилась Falcon3-10B-Base, которая демонстрирует наилучшие в классе результаты в zero-shot и few-shot режимах среди моделей с числом параметров менее 13B. Дистилляция знаний для лучших малых моделей: чтобы предложить компактные и эффективные альтернативы, мы разработали Falcon3-1B-Base и Falcon3-3B-Base, используя методы отсечения (pruning) и дистилляции знаний, а также менее 100 гигабайт отобранных высококачественных данных, тем самым переопределив эффективность предобучения.

## Ресурсы

- [Статья в блоге](https://huggingface.co/blog/falcon3)
- [Модели на Huggingface](https://huggingface.co/collections/tiiuae/falcon3-67605ae03578be86e4e87026)