Qwen 4B 모델의 AI 특유 문체 제거 파인튜닝

핵심 요약

• Qwen3-4B 기반 파인튜닝 모델을 공개했는데, AI 글쓰기의 특징적인 문체(뻔한 표현, 장황함)를 제거하도록 훈련했다.
• 양자화된 Q4_K_M 버전(2.5GB)은 Ollama나 llama.cpp로 노트북에서 바로 실행되며, 전체 가중치는 transformers 라이브러리로 로드할 수 있다.
• LoRA 어댑터(126MB)와 뉴런 편집(175바이트)을 분리하여 제공하는데, 두 가지가 함께 동작하도록 훈련됐다.
• 모델의 한계는 문체가 단조롭고(짧은 명령문 반복), 여전히 날조가 있으며(학명·통계는 줄었으나 인명·지명 조작 많음), 요청보다 긴 출력을 생성한다는 점이다.
• 단순 영문 산문만 테스트했으며, 코드·긴 대화·다른 언어·도구 사용에서는 원본 모델과 같거나 나을 수 있다.
• 평가는 정규표현식 스타일 가이드 기반이며 독자 검증 없이 수행됐고, 같은 모델도 샘플링 차이로 인해 점수가 10.2~12.5 사이를 움직인다.
• 더 나은 결과를 위해 다음 단계는 공개 도메인 에세이·편지와 현대 글쓰기를 포함한 양질의 인간 데이터로 베이스 모델을 훈련하는 것이다.
• 향후 7~8B, 30B 모델에도 같은 방식을 적용하고 독자가 선택하는 맹검 테스트를 계획 중이다.
• 훈련은 M2 MacBook Air에서 2 에포크, 라운드당 1~3시간 소요되었으며, 10개 새로운 주제와 4가지 장르(블로그·LinkedIn·설명·의견)로 검증했다.
• 뉴런 편집은 4개 MLP 뉴런의 부호를 반전시켜 down-projection 가중치 4개 열을 효과적으로 무효화한다.