이 모델은 2022-05-10에 HF papers에 게시되었으며, 2023-06-20에 Hugging Face Transformers에 기여되었습니다.

UL2

개요

T5 모델은 Yi Tay, Mostafa Dehghani, Vinh Q. Tran, Xavier Garcia, Dara Bahri, Tal Schuster, Huaixiu Steven Zheng, Neil Houlsby, Donald Metzler이 발표한 Unifying Language Learning Paradigms에 소개되었습니다.

해당 논문의 초록은 다음과 같습니다:

기존의 사전 학습 모델은 일반적으로 특정 유형의 문제에 초점을 맞추고 있습니다. 지금까지도 올바른 아키텍처와 사전 학습 구성에 대해서는 합의가 이루어지지 않은 것으로 보입니다. 이 논문은 데이터셋과 설정을 막론하고 보편적으로 효과적인 모델을 사전 학습하기 위한 통합 프레임워크를 제시합니다. 우리는 먼저 사전 학습 목적과 아키텍처 원형이라는, 흔히 혼동되는 두 개념을 분리하는 것으로 시작합니다. 다음으로, NLP에서 자기 감독(self-supervision)에 대한 일반화되고 통합된 관점을 제시하고, 서로 다른 사전 학습 목적을 어떻게 서로 변환할 수 있으며, 서로 다른 목적 사이를 보간(interpolation)하는 것이 어떻게 효과적인지 보여줍니다. 이후 우리는 다양한 사전 학습 패러다임을 결합한 사전 학습 목적인 Mixture-of-Denoisers(MoD)를 제안합니다. 또한, 다운스트림 파인튜닝이 특정 사전 학습 방식과 연관되는 모드 스위칭(mode switching) 개념을 도입합니다. 우리는 여러 사전 학습 목적을 비교하기 위해 광범위한 아블레이션 실험을 수행했으며, 우리의 방법이 다양한 설정에서 T5와/또는 GPT 계열 모델을 능가하여 파레토 프런티어(Pareto-frontier)를 확장한다는 것을 발견했습니다. 마지막으로, 모델을 20B 파라미터 규모로 확장하여, 언어 생성(자동 및 인간 평가 포함), 언어 이해, 텍스트 분류, 질의응답, 상식 추론, 긴 텍스트 추론, 구조화된 지식 기반화, 정보 검색에 이르는 50개의 정립된 감독형 NLP 작업에서 SOTA 성능을 달성했습니다. 우리의 모델은 컨텍스트 내 학습(in-context learning)에서도 강력한 결과를 보여주며, 제로샷 SuperGLUE에서 175B GPT-3를 능가하고, 원샷 요약 작업에서 T5-XXL의 성능을 3배로 향상시켰습니다.

이 모델은 DanielHesslow님이 기여했습니다. 원본 코드는 여기에서 찾을 수 있습니다.

사용 팁

• UL2는 노이즈 제거 함수의 혼합 데이터로 사전 학습된 인코더-디코더 모델이며, 다양한 다운스트림 작업으로 미세 조정되었습니다.
• UL2는 T5v1.1과 동일한 아키텍처를 가지며, Gated-GELU 대신 Gated-SiLU 활성화 함수를 사용합니다.
• 저자들은 여기에서 확인할 수 있는 하나의 아키텍처에 대한 체크포인트를 공개했습니다

UL2는 T5v1.1과 동일한 아키텍처를 가지므로, API 참고 사항, 팁, 코드 예제 및 노트북은 T5 문서 페이지를 참조하세요.