← 返回论文库
BloombergGPT: A Large Language Model for Finance
Shijie Wu, Ozan Irsoy, Steven Lu, et al. · 2023
L0.1 · Financial AgentsarXiv:2303.17564#finance-llm#pretraining
CORE IDEA
50B 参数 LLM 用 363B token 金融语料 + 345B 通用语料 pretrain，证明 domain-specific pretraining 在金融 NLP 任务上显著 beat 通用 LLM。
CONCRETE EXAMPLE
ConvFinQA 上从 GPT-3 的 33% 提到 43%，用于 Bloomberg Terminal 内部辅助。
L-ANCHOR · 为什么在这一层重要
finance-domain LLM 起点，证明 domain pretraining 的 value