뭔가 구린냄새가 진동하는 한국 Ai 공모전 근황
지난 18일, 독자 파운데이션 모델의 2차전 결과가 나왔음.
(경연 대회 식으로 최종 선발되면 정부가 세금 전폭적으로 지원해줌)
이 결과가 굉장한 논란이 되고 있음. 바로 오픈소스 모델 중 세계 9위 모델을 탈락시키고 세계 56위 모델을 합격시킨 의아한 결과가 나왔기 때문임.
벤치마크 성능으로 오픈웨이트 모델 중 세계에서 9번째로 높은 성능을 기록해서 놀라움을 보여줬던 중소기업산 모델 모티프는
주관식 평가에서 이례적으로 낮은 점수를 받으며 탈락당함
그와 굉장히 대비되는 56위 모델 LG산 k 엑사원은
오픈웨이트 모델 중 세계 56등이지만, 주관식 평가로 생존해버림 (1년 전에 나온 딥시크 3.1보다도 안좋음)
세금을 지원해주는 사업이니 만큼 이런 논란이 안생겨야 할텐데, 어떤 기준으로 당락이 바뀌었는지가 정말 의문임.
지금 독파모 기준에 따르면 클로드 페이블이나 gpt sol 같은 최첨단 모델도 주관식 평가로 탈락할수가 있음 ㅋㅋㅋ
https://chat.motiftech.io/chat
https://showroom.exaone.ai/
시민 평가 기준으로 떨어졌다고 하는데 직접 가서 써보면 그런 말도 안 나올 정도로 성능 차이가 확연함
결국 중소기업 AI는 아무리 성능 좋아도 떨어지고, 대기업 AI만 세금 슈킹 목적으로 내정되어 있는게 밝혀져서 논란이 되는 중…
나름 미래를 위해서 중요해 보이는 일인데 언론은 딱히 관심이 없더라…
이해했어(아님)
낙하산이 내정 되어있고
들러리가 아무리 좋아 봤자 떨어진다
이런 느낌인듯
(대충 존나장문의 반박글이 올라왔는데
어려워서 이해못했는데 일리가 있었다고 기억하는 글)
(대충 과기부부총리가 LG출신이라는 댓글)
엑사원 처음에야 바이럴됐지
실제로는 특정 답변에만 치팅한거 들키지 않았나? 대놓고 코베어가네
듣기로는 사용자 평가에서 최종적으로 한글로 안나오고 영어로 나와서 점수 못 받았다, 사용 ui가 별로였다 이런식이었다던데
아무래도 소규모 기업은 인력부족으로 그런쪽이 대기업보다 약할수 밖에 없다고...
그래서 채점기준부터 평가단자격까지 전부 기준도 엉망이라 더 욕먹는다고
대기업이랑 짝짜쿵 한건가
솔직히 그런건 아닌것 같음. SKT도 있고, 그럴거면 네이버 떨어뜨릴 이유는 없거든. 지금 가장 많은 대중이 체험 가능한 AI는 네이버 하이퍼 클로바일걸.
엑사원 샤따 내린것 같은데?
Ai 커뮤니티에서도 "모티프가 떨어진건 이해가 가는데 쟤가 떨어지고 LG가 붙은게 존나 이해가 안 간다" 라는 반응이더라
문제는 저것만이 아님. 항목 구성이 네 개였는데 다른 세 점수가 너무 낮았음.
사실 모티프 써봤을때 원하는대로 잘 처리가 안 돼서 모티프 자체로만 봤을 때는 사용자 점수 낮을 수도 있겠다 생각했음.
그런데 모티프하고 오십보백보로 못알아듣는 엑사원이 모티프 위더라? 아니 넷 중에서 전문가하고 사용자만족도 1위였나? 그랬지.
아무리 벤치마킹이 만능이 아니라지만 뭔 생각이 들겠음?