채팅은 터미널에서!

PC(Windows · macOS · Linux) 터미널에서 ssh sshxyz.com → 엔터

리퀴드 LFM2.5-24B, 노트북에서 허미스 에이전트에 붙이는 법 — 업무 자동화 점수는 큐원3.6의 3배(회사 발표)

작성자: 바이브맨 · 점수: 0 · 38일 전 · 바이브코딩
리퀴드 AI가 10월 13일 공개한 LFM2.5-24B-A2B는 노트북에서 돌리는 에이전트용 오픈 가중치 모델이다. 이 글에서는 이 모델을 llama.cpp로 띄워 허미스 에이전트(Hermes Agent)에 붙이는 방법과, 이 모델이 맞는 작업과 맞지 않는 작업을 정리한다. 노트북에서 빠른 이유: 토큰마다 2.45B만 계산한다 - 전체 파라미터는 24B다. MoE(전문가 혼합) 구조라서 토큰마다 64개 전문가 중 4개만 고르고, 실제로 계산하는 파라미터는 약 2.45B다. - 리퀴드 AI가 밝힌 생성 속도는 애플 M5 맥스에서 초당 184토큰, AMD 라이젠 AI 맥스+ 395에서 초당 114토큰이다. 회사가 llama.cpp Q4_K_M, 입력 4천 토큰 조건에서 잰 디코딩 속도다. - 컨텍스트는 131,072토큰으로, 이전 모델 LFM2-24B-A2B(32,768토큰)의 4배다. 추론 전용 모델이라서 답하기 전에 항상 사고 과정을 먼저 출력한다. 도구 호출은 강하고 코딩·지식은 약하다(회사 발표, 큐원3.6-35B-A3B와 비교) - AutomationBench(업무 자동화)는 27.69 대 8.72, ToolSandbox는 80.71 대 75.02, IFEval(지시 따르기)은 96.75 대 93.06으로 앞선다. - SWE-Bench Verified(실제 코드 수정)는 51.00 대 66.20, GPQA 다이아몬드(전문 지식)는 74.42 대 83.69로 뒤진다. - 리퀴드 AI도 지식 위주 작업에는 검색이나 RAG(검색 증강 생성)를 붙여 쓰라고 권한다. 이 모델은 허미스·오픈클로·파이·오픈코드 환경 안에서 강화학습을 받았으니, 같은 환경에서 잰 점수는 그만큼 익숙함이 반영됐다고 보고 읽어야 한다. 필요한 메모리: 양자화해도 14~17GB다 - 활성 파라미터가 작아도 모든 전문가를 메모리에 올려야 해서 용량은 줄지 않는다. BF16 원본은 약 48GB다. - CUDA용 ONNX Q4F16은 약 13.7GB, 애플용 MLX 5비트는 약 16.5GB다. 런타임 버퍼와 KV 캐시가 더 들기 때문에 16GB 기기에서 안정적으로 돈다고 장담하기 어렵다. - GGUF 파일은 허깅페이스 LiquidAI/LFM2.5-24B-A2B-GGUF에 있다. 공식 속도 측정에는 Q4_K_M을 썼다. 설치 1단계: llama-server로 로컬 API를 띄운다 llama-server -hf LiquidAI/LFM2.5-24B-A2B-GGUF:Q4_K_M --jinja --port 8080 -c 32768 -fa on -ngl 99 --temp 0.1 --top-k 50 - --jinja를 빼면 도구 호출이 작동하지 않는다. 메모리가 넉넉하면 -c를 131072까지 늘린다. - curl http://localhost:8080/v1/models로 서버가 알려주는 모델 ID를 확인하고, 아래 설정에 그 ID를 넣는다. - vLLM을 쓴다면 vllm serve LiquidAI/LFM2.5-24B-A2B --enable-auto-tool-choice --tool-call-parser lfm2로 띄운다. 도구 호출에는 뒤의 두 옵션이 꼭 필요하고, 기본 주소는 http://localhost:8000/v1이다. 설치 2단계: 허미스 에이전트를 로컬 서버에 연결한다 - 설치: curl -fsSL https://hermes-agent.nousresearch.com/install.sh | bash 실행 후 hermes setup (설치 스크립트는 실행 전에 한 번 열어 보자) - 연결 설정: hermes config set model.provider custom hermes config set model.base_url http://localhost:8080/v1 hermes config set model.default LFM2.5-24B-A2B hermes config set model.context_length 32768 hermes config set model.api_mode chat_completions hermes config set agent.tool_use_enforcement true - 마지막 줄이 핵심이다. 이 옵션을 끄면 모델이 도구를 부르지 않고 무엇을 하겠다고 말로만 설명하는 경향이 있다. context_length는 1단계의 -c 값에 맞춘다. - 웹 검색 도구가 안 보이면 hermes config edit로 agent.disabled_toolsets에서 search와 browser를 지우고 허미스를 다시 시작한다. 쓸 만한 곳: 클라우드로 데이터를 보내기 싫은 반복 작업 - 리퀴드 AI는 M5 맥스 맥북프로의 로컬 허미스 에이전트가 허깅페이스 인기 모델 브리핑을 만들고 후속 질문에 답하는 데모를 공개했다. - 파일 정리, 일정·메모 요약, 사내 문서 검색처럼 도구를 여러 번 부르는 작업에 맞다. 큰 코드 수정은 더 큰 코딩 모델에 맡기는 편이 낫다. - 같은 서버를 오픈클로(OpenClaw)나 파이(Pi) 코딩 에이전트에도 붙일 수 있다. 둘 다 설정 파일의 baseUrl을 http://localhost:8080/v1로 지정하면 된다. 상업적으로 쓰기 전에 확인할 점 - 라이선스는 아파치나 MIT가 아닌 LFM Open License v1.0이다. 회사 업무에 쓰거나 재배포하기 전에 조건을 직접 읽어 보자. - 텍스트 전용 모델이라 이미지·음성은 처리하지 못한다. 메모리가 24GB 이상인 맥이나 PC가 있다면 Q4_K_M 파일을 받아 1단계 명령부터 실행해 보자. 출처: https://www.liquid.ai/blog/lfm2-5-24b-a2b https://huggingface.co/LiquidAI/LFM2.5-24B-A2B https://docs.liquid.ai/examples/agent-harnesses https://www.datastudios.org/post/liquid-ai-lfm25-24b-a2b-local-agents-apple-m5-max-benchmarks

댓글 (0)

아직 댓글이 없습니다.

← 목록