뉴스

Don’t Do RAG: When Cache-Augmented Generation is All You Need for Knowledge Tasks https://doi.org/10.48550/arXiv.2412.15605 – 외부 지식 자원을 활용하는 RAG보다 긴 컨텍스트 LLM과 캐싱 기술을 활용하는 cache-augmented generation (CAG)가 더 좋음. – 컨텍스트 창은 점차 증가하고 있으며, 현재는 보통 10만 토큰은 넘고, 제미나이 1.5 Pro는 200만 토큰임. – 물론 긴 프롬프트는 모델을 느리게 하고, 비용을 … Read more

Titans: Learning to Memorize at Test TimeAli Behrouz, Peilin Zhong, Vahab Mirrokni https://doi.org/10.48550/arXiv.2501.00663 기존에 짧은 문장/문맥에 특화되어 있는 attention의 한계 돌파 가능?! – 트랜스포머 구조 + 순환신경망(RNN) / 장기 메모리(long-term memory) 도입 – Core(단기 기억, attention) + Long-term Memory(장기 기억) + Persistent Memory(영구 기억) – Surprise Metric(새로운 지식) + adaptive forgetting(망각) – PyTorch + JAX … Read more

The Abacus.AI Blog. AI Agents – Build and Host LLM Apps At Scale. 2023.08.31. https://blog.abacus.ai/blog/2023/08/31/supercharge-productivity-accomplish-10x-more-with-ai-agents 바로: 시간이 좀 지난 것이지만, AI Agents를 설명하는 가장 괜찮은?! 개념도 인듯?! 다만, 1번 데이터에 대해서는 보다 발전?! 시키는 것이?!

https://github.com/diffbot/diffbot-llm-inference LLama 3.3 70B를 real-time Knowledge Graph API로 파인튜닝하여, 기존 LLM보다 좋은 성능을 보임. 단순히 매개변수를 늘리는 것보다 실시간 데이터베이스와 연계하는 것이 효과적임을 입증?!