Baichuan-13B

2023: Публикация в открытом доступе

11 июля 2023 года китайский стартап Baichuan Intelligence представил большую языковую модель искусственного интеллекта Baichuan-13B с приблизительно 13 млрд параметров. Она рассматривается в качестве местного аналога платформы OpenAI ChatGPT.

Фирма Baichuan Intelligence основана китайским предпринимателем Ваном Сяочуанем (Wang Xiaochuan), создателем поисковой системы Sogou (входит в Tencent). По его словам, «Китаю нужен собственный OpenAI». Стартап Baichuan Intelligence может стать одним из самых многообещающих разработчиков больших языковых моделей на рынке КНР.

Baichuan Intelligence представил большую языковую модель Baichuan-13B

Ван ушел из Sogou в конце 2021 года, и на фоне стремительного роста популярности чат-бота ChatGPT сформировал новую фирму. На развитие Baichuan Intelligence к середине июля 2023-го было привлечено около $50 млн. Представленная модель Baichuan-13B построена на архитектуре Transformer (лежит в основе GPT). Система обучается на китайско- и англоязычных данных. Исходный код платформы выложен на GitHub и доступен для коммерческого использования.

Отмечается, что модель Baichuan-13B обучена на 1,4 трлн токенов. Для сравнения, LLaMa от Meta (признана экстремистской организацией; деятельность на территории Российской Федерации запрещена) использует 1 млрд токенов в модели, также насчитывающей 13 млрд параметров. Ван сказал, что его стартап готовится к выводу на рынок крупномасштабной модели, сравнимой с OpenAI GPT-3.5, к концу 2023 года.Известный писатель-фантаст Сергей Лукьяненко выступит на TAdviser SummIT 28 ноября. Регистрация 5.7 т

Модель Baichuan-13B доступна бесплатно для ученых и разработчиков, получивших официальное разрешение на ее использование в коммерческих целях. В свете санкций со стороны США платформа допускает варианты, которые могут работать на оборудовании потребительского уровня, включая графические ускорители Nvidia 3090.^[1][2]

Примечания