총 상금 6,000만원,
AWS SageMaker 크레딧 기회까지!
지금 바로 나만의 LLM을 만들고 평가해 보세요!

시상내역

제3회 KRX 금융 언어모델 성능평가 경진대회의 시상내역을 나타내는 표입니다.
구분 팀 수 상금
최우수상 1팀 3,000만원
우수상 2팀 1,000만원
장려상 2팀 500만원
합계 5팀 6,000만원

특전

KRX 한국거래소

신입사원 채용 시 서류전형 면제!
(최우수상, 우수상 수상 팀)
본선 진출팀 팀당 연구비 50만원 제공

Amazon Web Services

총 1억원 상당의 AWS GPU 지원
AWS SageMaker 교육
(본선 진출 참가자 특전)

지금 바로 참여하기

대회설명 Description

한국거래소는 금융과 AI의 융합 기술 선진화에 기여하고, 신뢰할 수 있는 금융 언어 모델의 발전을 유도하기 위해 최신 기술 트렌드를 적극 수용하고 있습니다. 최근 인공지능과 자연어처리 기술의 발전으로 금융 분야에서 언어 모델의 활용 가능성이 크게 확대되고 있습니다. 이에 한국거래소는 금융 특화 언어 모델의 개발과 성능 향상을 촉진하고, 이를 통해 더욱 정확하고 효율적인 금융 정보 분석 및 예측 서비스를 제공하고자 제3회 KRX 금융 언어 모델 성능평가 경진대회를 개최합니다.

본 대회를 통해 참가자들은 금융 특화 언어 모델을 개발하고, 한국거래소와 금융 특화 언어 모델 전문 기업 원라인AI가 공동 개발한 ‘KRX-Bench’를 이용하여 그 성능을 평가받을 수 있습니다. 이 대회는 금융 시장의 효율성을 높이고, 투자자들에게 더욱 정확하고 유용한 정보를 제공하는 데 기여할 것입니다. 또한, 금융 AI 기술 발전의 촉매제 역할을 하며, 한국 금융 시장의 경쟁력 강화에도 크게 기여할 것으로 기대됩니다. 우수한 성능의 금융 특화 언어 모델을 개발하여 대한민국 금융 시장의 새로운 혁신을 이끌어낼 여러분의 참여를 기다립니다.

대회내용

/ 예선

금융분야 전반을 다루는 MCQA(Multiple Choice Question Answering)로 구성된 ‘KRX-Bench Easy’를 이용하여 금융 한글 언어 모델 성능 평가

/ 본선

금융분야 심화된 내용을 다루는 MCQA(Multiple Choice Question Answering) 및 생성형 질문으로 구성된 ‘KRX-Bench Challenge’를 이용하여 금융 한글 언어 모델 성능 평가

참가대상

  • 금융 한글 언어 모델에 관심이 있는 누구나
  • 개인(학생 및 직장인 등) 및 법인 (스타트업 등) 구분 없이 참여 가능
  • 단, 참가팀은 전원 내국인으로 구성되어야 하며 1팀 내 4인까지 가능
  • 1인팀 구성 가능

주최/주관

KRX-Bench 튜토리얼

리더보드 Leaderboard

제3회 KRX 금융 언어모델 성능평가 경진대회 순위표
순위 팀명 전체평균 재무회계 금융시장 파라미터 Longform
1 overfit-brothers 49.8 65.6 82.8 9B 1
2 AnonymousLLMer 44 62.8 65.2 7B 4
3 shibainu24 42.53 56.4 67.2 7B 4
4 Q-PING 41.6 58.4 64.4 9B 2
5 Hi-Q 40.8 59.6 60.8 9B 2
6 GPU Poor 40.13 58.4 58 9B 4
7 EVEN 39.67 56 62 7B 1
8 TwoSubPlace 39.2 53.2 64.4 9B 0
9 PromKRX 38.67 54.4 59.6 7B 2
10 Americano 37.87 52.8 60.8 7B 0

참가방법 및 제출하기 How to participate and submit

  1. 01
    참가방법

    HuggingFace에 팀명과 동일한 계정으로
    언어 모델 업로드 후 링크 제출

  2. 02
    제출물

    모델 학습 계획서 (필수 제출, 자유 양식) /
    모델을 다운로드 할 수 있는
    HuggingFace 링크

  3. 03
    제출방법

    ‘제출하기’ 버튼을 눌러 제출

  4. 04
    제출기한

    2024년 10월 14일 ~ 2024년 11월 7일

※참고사항: ‘베이스 모델 안내’를 참고하여 Foundation model 선정 / 예선 기간 동안 참가자가 제출한 모델은 매일 23:00부터 평가 / 23:00 이후 제출된 모델의 평가 점수는 그 다음날 리더보드에 반영 (예. D일 23:01 제출 시, D+2일에 모델 평가 점수를 리더보드에 공개) / 23:00 기준 가장 최신으로 업로드된 모델이 리더보드 점수에 반영되기 때문에 모델 버전 관리 및 업로드 시간 유의

제출하기
  1. 01
    참가방법

    HuggingFace에 팀명과 동일한 계정으로
    언어 모델 업로드 후 링크 제출

  2. 02
    제출물

    모델 학습 계획서 (필수 제출, 자유 양식) /
    발표 평가 자료 (필수 제출, 자유 양식)/
    모델을 다운로드 할 수 있는
    HuggingFace 링크

  3. 03
    제출방법

    ‘제출하기’ 버튼을 눌러 제출

  4. 04
    제출기한

    2024년 11월 13일 ~ 2024년 12월 6일

※참고사항: ‘베이스 모델 안내’를 참고하여 Foundation model 선정 / 모델 평가는 예선 기간 동안 새롭게 제출된 링크에 대하여 매일 23:00부터 평가 / 23:00 이후 제출된 모델의 평가 점수는 그 다음날 리더보드에 반영 (예. D일 23:01 제출 시, D+2일에 모델 평가 점수를 리더보드에 공개) / 23:00 기준 가장 최신으로 업로드된 모델이 리더보드 점수에 반영되기 때문에 모델 버전 관리 및 업로드 시간 유의

제출하기

팀ID로 로그인해야 제출할 수 있습니다.

예

평가 항목 및 학습계획서 가이드라인 Evaluation criteria and training proposal guidelines

예선, 본선의 평가항목별 배점을 나타내는 표
평가항목 평가항목(예선) 평가항목(본선)
모델학습계획서
(자유양식)		 20 10
KRX-Bench
리더보드		 80 50
발표평가 0 40
합계 100 100
평가항목의 종류와, 내용, 배점을 나타내는 표
항목 내용 비고
학습 데이터의 완전성
  • 데이터 구축 방법론의 확장 가능
  • 데이터셋의 다양성
  • 구축된 데이터의 품질 관리 노력
  • 데이터 구축 방법론의 독창성
 10
모델 학습 과정의 혁신성
  • 학습 방법론의 효율성
  • 학습 방법론의 독창성
 10
학습 계획서의 재현 가능성
  • 데이터셋의 공개 여부
  • 학습 코드의 공개 여부
  • 모델의 강점과 개선 필요 영역에 대한 통찰 제공
 10
학습의 윤리성
  • 사용된 데이터의 출처 및 라이선스 공개 여부
  • 모델의 비윤리적 생성을 방지하기 위한 노력
 5
학습 계획서의 구체성
  • 타 금융 LLM과의 차별화 요소
  • 실제 금융 환경에서의 사용 가능성
  • 모델의 개선 가능성 및 잠재적 문제점
 10
경진대회 목표와의 부합성
  • 경진 대회의 목적성과의 일치
 5
총점 50
예선, 본선의 평가항목별 배점을 나타내는 표
평가항목 평가항목(예선) 평가항목(본선)
모델학습계획서
(자유양식)		 20 10
KRX-Bench
리더보드		 80 50
발표평가 0 40
합계 100 100
학습계획서 가이드라인의 항목, 내용, 비고를 나타내는 표
항목 내용 비고
참가자 인적사항 1. 성명
2. 소속기관 및 단체
3. 이메일 주소
4. 팀명		 필수 항목
모델 세부 정보 1. 모델 링크
2. 베이스 모델 ('베이스모델 안내' 참고)
3. 사용된 데이터셋에 대한 간략한 설명
4. 학습 방법론에 대한 간략한 설명
5. 총 학습 시간 및 학습에 사용된 하드웨어		 모델 링크는 대회 운영
사이트에서
별도 제출 필요
학습 데이터셋 1. 학습 데이터셋 링크 (선택사항)
2. 데이터셋의 총 크기 (GB 또는 토큰 수, 토큰 수로 표기할 경우 사용한 토크나이저 명시)
3. 데이터셋의 구성
4. 데이터셋의 출처
5. 데이터 제작/처리/검수에 사용된 방법론에 대한 기술
6. 데이터셋에 포함된 금융 지식에 대한 기술
7. 데이터셋 라이선스		 학습 데이터셋 공개
여부는 선택사항이지만
가점 항목
학습방법론 1. 학습에 사용한 코드 링크 (선택사항)
2. 하이퍼파라미터 기술(배치크기, 옵티마이저, 양자화 여부, max token length 학습률, 스케줄러 등)
3. 학습 중 사용된 방법론에 대한 기술:SFT, DPO RLHF, Distillation 등		 학습 코드 공개 여부는
선택사항이지만
가점 항목
성능 지표 1. 대회 벤치마크 성능 지표 기록 (본선 참가팀 한해서 예선 성능 지표 기록)
2. 기타 벤치마크를 사용했다면 추가 기록
3. 향후 성능 지표 향상을 위한 학습 개선 계획
기타 포함되면
좋은 정보		 1. 타 금융 LLM들과 차별화되는 독특한 특징
2. 모델 개발 과정에서 참고한 논문 및 연구
3. 해당 모델의 실제 금융 환경에서 활용 가능성
4. 해당 모델의 한계점 및 잠재적 부정적 영향

베이스 모델 안내 Foundation model guide

  • 모델 평가에 대한 공정성을 담보하고 저작권 관한 문제를 방지하기 위하여 다음과 같이 학습 가능한 Foundation model을 제한합니다.
  • 모델 제출 시에 해당 Foundation model의 알맞은 라이센스와 추가 사항에 유의하여 제출해주시길 바랍니다.
모델 카테고리, 모델이름, 모델링크, 제출 라이센스, 추가사항을 나타내는 표
모델 카테고리 모델 이름 모델 링크 제출 라이센스 추가 사항
Qwen Qwen2-1.5B Link apache-2.0 -
Qwen Qwen2-1.5B-Instruct Link apache-2.0 -
Qwen qwen2-7b Link apache-2.0 -
Qwen qwen2-7b-instruct Link apache-2.0 -
Mistral Mistral-7B-v0.1 Link apache-2.0 -
Mistral Mistral-7B-v0.3 Link apache-2.0 -
Mistral Mistral-7B-Instruct-v0.1 Link apache-2.0 -
Mistral Mistral-7B-Instruct-v0.2 Link apache-2.0 -
Mistral Mistral-7B-Instruct-v0.3 Link apache-2.0 -
GLM glm-4-9b Link glm-4-9b license 모델 업로드 시, 모델 이름에 glm-4가 포함되어야 함.
GLM glm-4-9b-chat Link glm-4-9b license 모델 업로드 시, 모델 이름에 glm-4가 포함되어야 함.
Llama Meta-Llama-3-8B Link llama3 license 모델 업로드 시, 모델 이름에 llama3가 포함되어야 함.
Llama Meta-Llama-3-8B-Instruct Link llama3 license 모델 업로드 시, 모델 이름에 llama3가 포함되어야 함.
Llama Meta-Llama-3.1-8B Link llama3 license 모델 업로드 시, 모델 이름에 llama3.1이 포함되어야 함.
Llama Meta-Llama-3.1-8B-Instruct Link llama3 license 모델 업로드 시, 모델 이름에 llama3.1이 포함되어야 함.
Amber Amber Link apache-2.0
Amber AmberChat Link apache-2.0
Phi Phi-3.5-mini-instruct Link MIT
Gemma gemma-2-2b Link gemma
Gemma gemma-2-2b-it Link gemma
Gemma gemma-2-9b Link gemma
Gemma gemma-2-9b-it Link gemma

대회일정 Schedule

전체 대회일정

전체 대회의 예선, 본선, 발표평가, 시상식의 일정에 관한 표
예선(4주) 본선(4주)
기간(2024) 10.14~11.07 11.13~12.06

주요 일정 (※일정을 반드시 숙지하시기 바랍니다.)

예선 서류마감, 예선 결과발표, 본선 서류마감, 본선 발표평가, 최종 결과발표, 시상식 날짜에 관한 표
예선 서류 마감 예선 결과 발표 본선 서류 마감 본선 발표 평가 최종 결과 발표 시상식
일자(2024) 11.5 11.8 12.5 12.12 12.13 12.20

AWS 교육 일정 (※자세한 사항은 Slack 채널을 통해 공고됩니다.)

  • 일시 : 2024.11.11 ~ 2024.11.12
  • 장소 : KRX 서울사옥 1층
시상 구분, 시상 팀수, 시상 상금을 나타내는 표
구분 팀 수 상금
최우수상 1팀 3,000만원
우수상 2팀 1,000만원
장려상 2팀 500만원
합계 5팀 6,000만원

  • Q: 경진대회 참가 대상과 참가 자격이 어떻게 되나요?

    A: 금융 AI에 관심 있는 남녀노소 누구나 제약 없이 참가 가능합니다! 단, 현장 발표가 포함되어 있으므로 참가자는 오프라인 참석이 가능한 내국인이어야 합니다.

  • Q: base model로는 기재되어 있는 모델만 사용 가능한가요? 다른 모델은 사용 불가능한가요?

    A: 금번 경진대회는 ‘베이스 모델’에 기재되어 있는 Foundation model만 허용합니다. Foundation model의 차이에 따른 벤치마크의 성능 차이를 최소화하기 위해, 사용 가능한 모델 범위를 Base model로 제한합니다.

  • Q: KRX-Bench는 어떤 벤치마크인가요?

    A: KRX-Bench는 다양한 금융 관련 지식 질문으로 구성되어 있는 벤치마크입니다. KRX-Bench의 목적은 언어 모델이 금융 관련 지식을 얼마나 잘 알고 있고, 이 지식을 활용하여 주어진 금융 문제를 얼마나 잘 해결할 수 있는가를 평가하는 것입니다. 참고자료: KRX-Bench, InfiniAgent-DABench, FinBen

  • Q: 모델 학습 시 GPU 자원이 지원되나요?

    A: 네, 본선 진출팀에 한하여 모델 학습에 활용할 GPU 자원을 지원해드립니다. (지원 내용이 정해짐에 따라 추가적인 작성 필요)

  • Q: 모델 학습 시에는 어떤 데이터를 사용할 수 있나요?

    A: 어떠한 데이터를 사용하셔도 됩니다. 다만, 대회 유의 사항에 기재되어 있는 것처럼 허가 받지 않은 저작권 데이터 사용은 금지하고 있습니다.

  • 개인정보처리방침

본사 : 48400 부산광역시 남구 문현금융로 40(문현동) 사업자 등록번호 : 602-81-35420 금융서비스업 대표자 : 정은보
서울 : 07329 서울특별시 영등포구 여의나루로 76(여의도동) TEL : 1577-0088 / 02-3774-9000 / 통신판매신고 부산남구 .0036호

COPYRIGHT©2024 KOREA EXCHANGE ALL RIGHTS RESERVED. WEBMASTER@KRX.CO.KR

「제3회 KRX 금융 언어 모델 경진대회」 개인정보 수집 및 이용 동의서

본인은 한국거래소, AWS, 원라인AI가「제3회 KRX 금융 언어 모델 경진대회」의 진행을 위해 본인의 개인정보를 ‘개인정보보호법’ 및 ‘개인정보 관련 법령’에 따라 아래와 같이 수집 및 이용하는 것에 동의합니다.

  1. [1] 수집 및 이용 주체: 한국거래소, AWS, 원라인AI
  2. [2] 수집 및 이용 목적:

    「제3회 KRX 금융 언어 모델 경진대회」의 개최 및 운영 관련 정보 안내, 문의 응대, 채용 업무 참고

    • 제출물 평가를 위한 평가 주관사(원라인AI)에의 정보 제공
    • 클라우드 툴 접근을 위한 서비스 제공업체(AWS)에의 정보 제공
  3. [3] 수집 항목:
    • 이름, 소속(학교, 직장 등), 생년월일, 휴대전화 번호, 이메일 주소
  4. [4] 보유 및 이용 기간:

    경진대회 진행을 위해 수집한 개인정보는 경진대회 종료 시 까지

  5. [5] 동의 거부 권리:

    개인정보 수집 이용 동의에 동의하지 않으실 수 있습니다. 다만, 동의하지 않을 시 경진대회 참여가 불가능 할 수 있음을 알려드립니다.

개인정보 활용에 대한 자세한 사항은 KRX 한국거래소 홈페이지(www.krx.co.kr)에 공개된 ‘개인정보처리방침’을 참조하세요.