那个从openai离职去创业的CEO，搞了一个公司叫thinking machine。

这家公司终于推出了自己的模型，但是不知道有啥特色。975B，激活参数41B。

一个仅含解码器的 66 层 Transformer，采用稀疏混合专家（MoE）前馈骨干网络：每个 token 被路由至 256 个专家中的 6 个，外加对每个 token 均激活的 2 个共享专家。注意力机制结合了局部和全局层。该模型原生支持多模态——图像和视频通过分层块编码器进行编码，音频则通过离散 token 编码——所有模态均被投影到共享的隐藏空间，并由解码器联合处理。

模型地址：www.modelscope.cn/models/thinkingmachines/Inkling/summary