Jev AI를 활용한 심볼 단위 채팅 모델 실험
원제 I turned Jev into a (lousy) chatbot
116 포인트댓글 38
Key Point
각 심볼마다 API를 호출하는 비효율적 방식이지만, Jev 모델을 생성 작업에 활용하는 창의적인 접근법과 여러 샘플링 전략의 성능 비교를 통해 언어 모델의 동작 원리를 이해하는 데 참고할 수 있다.
핵심 요약
- Jev API를 이용해 다음 심볼을 단계적으로 예측하는 방식으로 채팅 모델을 만드는 프로젝트다.
- 사용자 질문과 현재까지의 응답을 받아 다음 심볼의 확률 분포를 반환하도록 Jev에 질문을 반복하며, 샘플러가 그 분포에서 심볼을 하나씩 뽑아낸다.
- choice, bisect, buckets, refine 등 여러 전략과 lower26, ascii, tokens, words1k, bpe5k 등 다양한 알파벳을 조합해 사용할 수 있다.
- hypothesis 프레젠테이션 방식(완성된 전체 텍스트를 옵션으로 제시)이 symbol 방식(개별 심볼만 옵션)보다 정확도를 3배 높이고 입력 토큰을 줄인다.
- 빔 서치로 여러 후보 응답을 동시에 유지할 수 있으며, 158개 테스트를 포함해 오프라인으로 검증된다.
- 실용적이지는 않지만 개념 검증 목적으로, Claude의 도움으로 구현된 실험 프로젝트다.