엔지니어를 위한 AI 기술 동향 — 2026년 10월 21일

오늘의 논의는 검색·하네스·실행 환경을 다시 설계하는 쪽으로 모입니다. 벡터 검색을 건너뛰고 문서 구조를 따라가는 RAG, 자기 하네스를 스스로 고치는 코딩 에이전트 연구, 규제 산업 은행에서 하루 1,800건을 처리하는 사내 에이전트, 에디터 안에 격리된 에이전트 호스트를 넣은 VS Code, 그리고 종료 일정이 잡힌 평가 플랫폼까지 — 모델 교체보다 그 주변 구조를 어떻게 버전 관리하고 검증할 것인가가 공통 질문입니다.

벡터 없는 RAG — PageIndex, 청킹 대신 문서 트리를 탐색한다

10월 AI 현황을 정리한 글에서 다시 주목받은 VectifyAI의 PageIndex는 기존 벡터 RAG의 전제 자체를 바꿉니다. 임베딩을 만들고 코사인 유사도로 청크를 찾는 대신, 목차·제목 계층·표·단락 구조에서 뽑은 계층형 트리 인덱스를 만들고, 에이전트가 루트부터 가지의 관련성을 판단하며 내려가 정확한 구절에 도달한다는 설계입니다. 정리 글은 이 방식이 FinanceBench에서 98.7% 정확도를 기록했다고 전하는데, 이는 해당 프로젝트 측 수치로 받아들여야 합니다. 설계자에게 중요한 것은 수치보다 실패 양식의 차이입니다. 금융·계약·사양서처럼 계층과 각주가 의미를 만드는 문서에서는 임의 청킹이 관계를 끊는 것이 병목이 될 수 있고, 그럴 때는 청크 크기를 조정하기 전에 ‘문서 구조를 인덱스 1급 시민으로 둘 것인가’를 먼저 검토할 가치가 있습니다. 반대로 구조가 약한 문서에서는 트리 탐색만으로 부족할 수 있으므로, 하이브리드 구성이 현실적인 출발점입니다. 출처: Medium — The State of Artificial Intelligence in October 2026

하네스가 스스로 진화한다 — Self-HPO와 HarnessPro

10월 13~20일 에이전트 연구를 모은 dev.to 다이제스트는 이번 주 흐름을 ‘에이전트가 커밋을 쓰고, 누가 그 작업을 검사하는가’로 요약했습니다. 그중 눈에 띄는 축이 하네스 자기개선입니다. Self-HPO는 코딩 에이전트가 자기 실패를 분석해 도구·컨텍스트·피드백을 제어하는 하네스 자체를 바꾸는 제안과, 그 하네스 아래에서 정책을 강화학습으로 훈련하는 과정을 번갈아 수행하는 방식으로 소개됐고, Qwen3.5-35B-A3B 기준 평균 해결률이 57.8%에서 64.8%로 올랐다고 전합니다. HarnessPro는 과거 궤적을 분석하는 전문 에이전트들이 하네스 편집안을 만들고 LLM이 생성한 테스트로 후보를 채점해 비용 예산별 lite/medium/heavy 변형을 내놓는 방식으로, heavy 모드에서 통과율 +2%포인트와 작업당 비용 26.1% 절감을 보고했다고 합니다. 두 수치 모두 각 연구 측 보고이며 아직 운영 일반화로 단정할 단계는 아닙니다. 다만 설계 함의는 분명합니다. 프롬프트만 버전 관리할 것이 아니라 하네스 변경도 코드처럼 diff·테스트·롤백이 가능한 산출물로 다루고, 어떤 실패가 어떤 하네스 변경을 불렀는지 궤적과 함께 남겨야 재현이 됩니다. 출처: dev.to — Agents Write the Commits Now

Monzo의 Agent Chip — 은행 에이전트의 차별점은 모델이 아니라 게이트웨이와 샌드박스

영국 은행 Monzo의 사내 코딩 에이전트 Agent Chip 사례가 보도됐습니다. 보도에 따르면 이 에이전트는 머지된 PR의 10% 이상을 작성하고 하루 1,800건이 넘는 작업을 실행하며, Slack 메시지 반응으로 작업을 시작하고 Linear 티켓을 맡고 PR 리뷰와 인시던트 조사까지 수행한다고 합니다. 구조에서 주목할 부분은 내부 서비스 앞에 선 MCP 게이트웨이와, 운영 인프라와 분리된 네임스페이스에서 도는 샌드박스입니다. 게이트웨이가 에이전트에게 무엇을 노출할지와 인증·인가를 결정적으로 통제하고, 에이전트 이미지가 쓸 수 있는 도구와 환경을 고정하며, 바깥으로 나가는 경로는 프록시 하나로 제한해 egress를 허용 범위 안에서만 연다는 것입니다. Monzo 엔지니어들은 성공 요인을 모델 선택이 아니라 이미 갖추고 있던 알림·스테이징·배포·DB 추상화 같은 플랫폼 기본기라고 설명한 것으로 전해집니다. 규제 환경이 아니더라도 같은 원칙은 유효합니다. 에이전트를 들이기 전에 ‘노출을 통제하는 게이트웨이, 실행을 가두는 샌드박스, 모델을 갈아끼울 수 있는 런타임’을 먼저 갖추면, 모델 교체가 아키텍처 교체가 되지 않습니다. 출처: BigGo Finance — Monzo says its in-house coding agent writes over 10% of merged code

VS Code 1.137 Agent Host — 에디터가 에이전트의 컨테이너 호스트가 된다

VS Code 1.137을 정리한 글은 Agent Host 시스템을 이번 릴리스의 핵심으로 꼽습니다. 요지는 에이전트를 사이드바 채팅 패널 하나로 취급하지 않고, 각 세션을 독립적으로 띄우고 멈추고 감시할 수 있는 관리형 프로세스로 두며, 그 실행을 프로젝트의 도구와 의존성을 담은 Dev Container 안에서 돌린다는 것입니다. 호스트 머신에서 직접 돌 때와 달리 컨테이너 경계가 재현 가능성을 주고, 파괴적인 명령이나 잘못된 설치의 피해도 그 컨테이너 안에 가둡니다. 함께 소개된 공유 세션 접근은 진행 중인 에이전트 세션을 다른 개발자나 다른 에이전트가 들여다보고 이어받는 용도이고, 자동화와 음성 모드는 부차적인 요소로 제시됐습니다. 이 글의 날짜·세부 설명은 정리 글 기준이므로 공식 릴리스 노트로 교차 확인이 필요하지만, 방향은 설계 논의로 읽을 만합니다. 팀이 코딩 에이전트를 장시간 무인으로 돌릴 계획이라면, 에이전트별 컨테이너 이미지·도구 목록·네트워크 정책을 저장소에 선언으로 남기는 것이 ‘누가 무엇을 돌렸는가’를 재현하는 최소 단위가 됩니다. 출처: Shattered — VS Code 1.137 AI Agents in Dev Containers

OpenAI Evals 종료 일정 — 평가 데이터셋과 그레이더를 지금 내보내야 한다

평가 도구 지형을 정리한 글에 따르면 OpenAI의 Evals 플랫폼은 2026년 10월 31일 기존 사용자에게 읽기 전용이 되고 11월 30일 완전히 종료될 예정이라고 합니다. 같은 글은 에이전트 보안 테스트의 권장 경로가 OpenAI가 2026년 3월 인수했다고 전하는 Promptfoo 쪽으로 이동했다고도 적고 있는데, 일정과 인수 경위는 공식 공지로 최종 확인하는 것이 안전합니다. 일정이 사실이라면 남는 기간은 몇 주뿐이므로, 대시보드에만 있는 데이터셋·그레이더·기준 점수를 저장소로 내보내고, CI에서 돌 수 있는 형태로 고정하는 일이 우선입니다. 글은 평가 스택을 네 층으로 나누는 틀도 제시합니다. 결정적 단위 단언, LLM-as-judge 채점, 고정 회귀 스위트, 운영 트래픽 샘플링입니다. 특히 judge는 일관성이 높아도 위치 편향 같은 체계적 오류를 가질 수 있다는 감사 결과를 인용하므로, judge 모델을 비교 기간 동안 고정하고 쌍대 비교에서는 순서를 바꾸며 사람 라벨로 표본 점검하는 절차를 함께 두는 편이 좋습니다. 출처: Toolbit — AI Evaluation Tools 2026

LangSmith AI Search와 Orange의 레지스트리 — 트레이스를 ‘행동’으로 찾고, 접근은 등록부로 통제한다

같은 주간 다이제스트는 운영 쪽 도구 두 가지를 함께 전했습니다. 하나는 LangSmith의 AI Search로, 태그나 전문 검색 대신 ‘좌절한 사용자’나 ‘PII 유출’처럼 행동을 자연어로 묘사해 에이전트 트레이스를 찾는 기능이라고 소개됐습니다. 소개에 따르면 내부에서는 각 세션을 고정 토큰 예산 안의 중복 제거된 궤적으로 압축하고 빠른 판정 모델이 후보를 병렬로 거른다고 합니다. 다른 하나는 Orange Business의 Live Intelligence 사례로, 기업 도구에 대한 에이전트 접근을 감사 가능하게 통제하는 MCP Registry와 에이전트·프롬프트를 버전 관리하고 재사용하는 Agent Registry를 뒀다는 것입니다. 두 사례의 공통점은 관측과 거버넌스를 로그 파일이 아니라 검색·등록이 가능한 구조로 만든 데 있습니다. 트레이스가 쌓이기만 하고 행동으로 찾을 수 없으면 디버깅 자산이 되지 못하고, 도구 접근이 등록부 없이 흩어져 있으면 어떤 에이전트가 어떤 버전을 썼는지 답할 수 없습니다. 출처: dev.to — Agents Write the Commits Now

오늘의 공통점은, 검색 인덱스·하네스·게이트웨이·컨테이너·평가 데이터셋·트레이스 등록부처럼 모델 바깥의 구조물을 버전 관리하고 검증 가능하게 만드는 일이 에이전트 설계의 본체가 되고 있다는 점입니다.