커뮤니티국내GeekNews
Llama-modchip: GPU 없이 64GB RAM에서 284B DeepSeek 실행
llama-modchip은 모델 압축과 CPU 커널 최적화를 결합해 DeepSeek-V4-Flash 284B를 64GB RAM에서 실행함.
#Meta · Llama#DeepSeek#AI 반도체 · GPU
다른 보도 Hacker News
실시간
국내외 뉴스 · 기업 공식 발표 · 논문 · 영상 · 커뮤니티 소식을 한국시간 기준으로 제공합니다. 같은 소식은 하나로 묶고, 기본은 핵심만 보여 드립니다.
핵심만 = 기업 공식 발표, 여러 매체 · 채널이 함께 다룬 소식, 반응이 아주 큰 글.
llama-modchip은 모델 압축과 CPU 커널 최적화를 결합해 DeepSeek-V4-Flash 284B를 64GB RAM에서 실행함.
#Meta · Llama#DeepSeek#AI 반도체 · GPU
다른 보도 Hacker News
다른 보도 r/LocalLLaMA
For this video I used their included MCP. However, it's currently set up to run with diffusers which means that no consumer GPU works, despite them offering…
My favourite use case for local LLMs is running my homelab, because everything stays private (and it helps me justify the GPU lol) I wanted one dashboard to…
다른 보도 Anthropic Research
they are all the same and we ... are too emotional! and yes we already knew that.
NVIDIA Kubernetes Engine (NVKE). A management plane for GPU Kubernetes on bare metal.
Amazon SageMaker Inference now supports GPU partitioning with NVIDIA Multi-Instance GPU (MIG), which divides one GPU into hardware-isolated partitions so you…
엔비디아가 그래픽처리장치(GPU)와 중앙처리장치(CPU)를 단일 칩으로 결합한 'RTX 스파크(RTX Spark)'를 앞세워 클라우드 연결 없이 개인용 PC에서 인공지능(AI) 비서를 직접 구동하는 '로컬 AI' 시장 공략에 본격적으로 나섰다.
Larger models, longer contexts and agentic applications are increasing GPU memory pressure while supply tightens and prices rise — a trend expected to continue…
카이스트 테라랩이 반도체 설계와 논문 작성 등에 활용하는 인공지능(AI) 에이전트를 공개한다. 테라랩은 '고대역폭메모리(HBM) 아버지'로 불리는 김정호 카이스트 전기및전자공학부 교수가 이끄는 연구실이다. 테라랩은 오는 11
AMD가 퓨리오사AI, 망고부스트와 손잡고 국내 개방형 이기종 AI 인프라 구축을 추진한다. AMD의 중앙처리장치(CPU)와 그래픽처리장치(GPU)에 국내 기업의 신경망처리장치(NPU)와 데이터처리장치(DPU)를 결합해 AI 추론 환경에서 성능과 효율을 검증하는 것이 목표다.
공공기관의 인공지능(AI) 활용이 개별 기관의 시스템 구축을 넘어 정부가 제공하는 공통 인프라를 통해 확대되고 있다. 그동안 행정망의 보안 요건과 고성능 GPU 확보 부담으로 AI 도입에 제약을 받아온 중앙부처와 지방자치단체가 별도 인프라를 구축하지 않고도 국산 대형언어모델(LLM)을…
일부 AI 작업의 이용 요금은 내려가는데, GPU를 빌리는 값은 오르는 곳들이 있습니다. 같은 연산 장비로 돌아가는 서비스인데 왜 두 가격은 다르게 움직일까요?
AWS Batch quota management is a new scheduling capability you can use to divide GPU capacity into quota shares per team or project, automatically lend idle…
하이닉스는 확보한 장기계약과 구체적으로 협의 중인 고객 수요를 바탕으로 2029년까지 D램과 HBM이 사실상 솔드아웃이라고 판단했습니다. 이번 영상은 10월 28일 컨퍼런스콜을 인용한 보도에서 출발합니다.
인텔이 HBM 대신 LPDDR5X를 사용하는 데이터센터용 AI GPU, D270을 공개했습니다. 인텔 자체 카드는 160GB, 협력사 설계에서는 최대 480GB의 메모리를 지원하는 구성입니다.
Kimi K3.1 appears to be testing on Arena as Kibitz. Early outputs look strong on 3D and drawing work, and a release could come soon.
다른 보도 Matthew Berman
The increasing demand for GPU-accelerated machine learning inference has exposed limitations in centralized GPU infrastructures, including high cost, limited…
Learn to direct AI agents, critically review their output, and keep technical judgment at the center of your workflow. The post AI is changing developer work.