LLaMA Fine Tune

О проектеOverviewПро проєкт

Готовая языковая модель знает много общего, но не знает именно того, что нужно тебе — твоего стиля, твоей предметной области. Дообучение (fine-tuning) решает эту задачу.

Этот проект — про весь путь дообучения LLaMA: подготовка собственного набора данных, сам процесс fine-tuning и проверка, что модель действительно подхватила новые знания, а не разучилась тому, что умела.

Логичное продолжение моих проектов LLaMA Forge и LLaMA Online — от использования готовой модели к её настройке под конкретную задачу. Статус — прототип.

A ready language model knows a lot of general things but not exactly what you need — your style, your domain. Fine-tuning solves that.

This project is about the whole fine-tuning path for LLaMA: preparing a custom dataset, the fine-tuning process itself and checking the model actually picked up the new knowledge without forgetting what it could already do.

A natural continuation of my LLaMA Forge and LLaMA Online projects — from using a ready model to tuning it for a specific task. Status — prototype.

Готова мовна модель знає багато загального, але не знає саме того, що потрібно тобі. Донавчання вирішує це.

Цей проєкт — про весь шлях fine-tuning LLaMA: підготовка датасету, сам процес, перевірка результату.

Логічне продовження проєктів LLaMA Forge і LLaMA Online. Статус — прототип.

ОсобенностиFeaturesОсобливості

• Дообучение языковой модели LLaMA
• Подготовка собственного набора данных
• Проверка, что модель подхватила новые знания
• Продолжение проектов LLaMA Forge и LLaMA Online
• Fine-tuning the LLaMA language model
• Preparing a custom dataset
• Checking the model picked up new knowledge
• A continuation of LLaMA Forge and LLaMA Online
• Донавчання мовної моделі LLaMA
• Підготовка власного набору даних
• Перевірка засвоєння нових знань
• Продовження проєктів LLaMA Forge і LLaMA Online