LLaMA Online
Сетевой API для LLaMA
Java-обвязка, дающая доступ к модели LLaMA по сети — сделана ещё до появления такой функции в библиотеке.A Java layer giving network access to a LLaMA model — built before the library had such a feature.Java-обв'язка, що дає доступ до моделі LLaMA через мережу — зроблена ще до появи такої функції в бібліотеці.
О проектеOverviewПро проєкт
Чтобы мод LLaMA Forge мог работать, языковая модель должна быть доступна по сети — клиент игры обращается к ней, а не держит модель в себе. Когда я это делал, в используемой Java-библиотеке ещё не было сетевого режима.
Поэтому я написал свой: сервер принимает запросы по сети, прогоняет их через модель и отдаёт ответ обратно. По сути небольшой API-слой, который превращает локальную модель в сетевой сервис.
Позже похожая функция появилась в самой библиотеке — но на момент создания это было собственное решение задачи, которой штатно ещё не было.
For the LLaMA Forge mod to work, the language model has to be reachable over the network — the game client talks to it rather than holding the model inside itself. When I built this, the Java library I used had no network mode yet.
So I wrote my own: a server takes requests over the network, runs them through the model and returns the answer. Essentially a small API layer that turns a local model into a network service.
A similar feature later appeared in the library itself — but at creation time this was my own solution to a problem that had no standard answer yet.
Щоб мод LLaMA Forge міг працювати, мовна модель має бути доступна через мережу. Коли я це робив, у використовуваній Java-бібліотеці ще не було мережевого режиму.
Тож я написав свій: сервер приймає запити, проганяє їх через модель і віддає відповідь. По суті невеликий API-шар.
Згодом схожа функція з'явилася в самій бібліотеці — але на момент створення це було власне рішення.
ОсобенностиFeaturesОсобливості
- Сервер, отдающий модель LLaMA по сети
- Приём запросов и возврат ответов модели
- Превращение локальной модели в сетевой сервис
- Сделано до появления штатного сетевого режима
- A server exposing the LLaMA model over the network
- Receiving requests and returning model answers
- Turns a local model into a network service
- Built before a standard network mode existed
- Сервер, що віддає модель LLaMA через мережу
- Приймання запитів і повернення відповідей
- Перетворення локальної моделі на мережевий сервіс
- Зроблено до появи штатного мережевого режиму