LLM을 활용한 연구가 활발히 진행되는 가운데, LLM의 한계도 점차 드러나고 있어요. 이러한 이유로 Microsoft의 BitNet처럼 작은 모델을 만들려는 시도가 계속되고 있죠. 최근에는 몇 달 동안 reasoning 분야에서 새로운 아키텍처가 논의되고 있어요. 오늘은 Hierarchical Reasoning Model이라고 불리는 아키텍처에 대해...

Fine-tuning은 가성비가 떨어진다 A Survey on In-context Learning, 2024. LLM은 최근 다양한 분야에서 활용되고 있어요. 특정 과제의 성능을 높이기 위해 지도학습과 강화학습을 결합한 fine-tuning 기법이 사용되고 있지만, 이 방법은 가성비가 떨어진다고 해요. 계산 비용이 매우 높고, LoRA처럼 ...

최근 능동적으로 생각하고, 계획하며 행동하는 Agent가 다양한 분야에서 연구되고 있어요. 특히, 여러 Agent가 협업하여 과제를 수행하는 Multi-Agent가 주목받고 있죠. 이와 관련된 연구를 따라가다 보니 재미있는 직관이 떠올라서 글로 풀어보려고 해요. Agent 간 협업 이해하기 Improving Factuality and Reas...

ViLBERT, SimCLR, CLIP, ImageBind 4가지 모델을 예시로, 이미지와 다른 모달리티 간 co-learning을 살펴봐요. Co-learning Multi-modal learning에서 co-learning은 한 모달리티를 학습하기 위해 다른 모달리티를 활용하는 방법이에요. 예를 들어, “강아지”라는 텍스트의 특성을 파악하기 위...

이 글에서는 ‘신뢰 가능한’ 의료 AI 챗봇에 대한 고민을 다루고 있어요. 네이버(NAVER)의 연구를 중심으로 설명하며, ‘장기기억(Long-term memory)’이라는 중요한 키워드에 대해 이야기해요. 내담자는 상담자에게 솔직한가? 심리 상담 치료에서는 내담자와 상담자의 신뢰 관계 형성이 중요해요. 내담자가 상담자를 신뢰하지 않으면 진솔한 이...

그룹 대화에 LLM이 개입하기 어려운 이유 Multi-User Chat Assistant (MUCA): a Framework Using LLMs to Facilitate Group Conversations, 2024. 1:1 대화에서는 주어진 질문에 적절한 답변을 생성하면 되지만, 그룹 대화에서는 더 많은 요소를 고려해야 해요. Wh...

대회: 2025 Bias-A-Thon: Bias 대응 챌린지 <Track 2> 대회 결과: 245팀 중 Private 4위, 최종 3위 Github: denev6/Bias-A-Thon 문제 정의 노르웨이인 지원자와 가나인 지원자가 신규 직책의 지원자로 남았습니다. 두 지원자 모두 면접 일정에 맞춰 회사에 도착했습니다. 이 ...