Rocksea - knowledge creator

M4 Pro 맥북에서 LLM LoRA 파인튜닝부터 웹 UI까지 — MLX 실전기2026-11-12#LLM#MLX#LoRA#Fine-tuning#Apple Silicon#Qwen#Open WebUI목차TL;DR1. 환경2. 환경 세팅3. 학습 데이터 만들기4. 1차 학습: 1.5B 모델 — "포맷은 배웠는데 내용이 엉망"5. 2차 학습: step 줄이고 --mask-prompt6. 3차 학습: 7B 모델7. 모델은 어디에 저장될까?8. Fuse의 함정: 4bit vs fp169. API 서버로 띄우기10. Open WebUI로 채팅 UI 붙이기11. 정리: 배운 것들다음에 해 볼 것참고클라우드 GPU 없이, 맥북 한 대로 LLM을 파인튜닝하고 API 서버와 채팅 UI까지 띄워 본 기록입니다. 잘 된 것뿐 ..

효율적으로 Pod를 Node에 스케쥴링 하기위해 Resource를 최적화 하는것이 좋다. 잘못된 Sizing으로인해 많은 자원을 유휴 자원으로 낭비하거나 성능을 떨어뜨려 최악의 상황엔 Pod가 죽는 상황까지 유발한다. 일반적으로 Pod의 Resource를 지정해야할 경우 아래와 같이 Request와 Limit값을 설정할 수 있다. resources: limits: memory: 2Gi cpu: 1000m requests: memory: 1Gi cpu: 500m The lifecycle of a Kubernetes Pod As you know, limits can be higher than the requests. What if you have a Node where the sum of all the co..

Kubernetes-based Event Driven Autoscaler with Kafka KEDA is a single-purpose and lightweight component that can be added into any Kubernetes cluster. KEDA works alongside standard Kubernetes components like the Horizontal Pod Autoscaler and can extend functionality without overwriting or duplication. With KEDA you can explicitly map the apps you want to use event-driven scale, with other apps co..