Skip to content

ziwang-com/AGM

Repository files navigation

AGM阿格姆:AI权重粒子模型

AI Token Weight Particle Model 基于token权重关系的AI权重粒子图谱模型

AGM阿格姆项目,全称是:AI Token Weight Particle Model,基于AI模型token权重关系,内部微结构图谱模型。 AGM阿格姆项目,原名:AI Gene Model, AI基因权重图谱模型,类似AI生信领域的DNA基因图谱。 为避免与AI医疗项目混乱,更名为:AI权重粒子模型。

AGM阿格姆,目标,未来和意义是:成为下一代AI模型标准指定的参与者。

项目网址:https://github.com/ziwang-com/AGM

如果你在寻找一个伟大的项目,AGM就是。

AI Token Weighted Particle Model An AI Weighted Particle Graph Model Based on Token Weight Relationships

The AGM Agum project, also known as the AI Token Weight Particle Model, is based on the AI model token weight relationship and internal microstructure graph model. AGM Agam Project, formerly known as AI Gene Model, is an AI gene weight map model similar to the DNA gene map in the field of AI bioinformatics. To avoid confusion with AI healthcare projects, it has been renamed as AI Weighted Particle Model.

AGM Agum's goal, future, and significance are to become a designated participant in the next generation AI model standard.

Project website: https://github.com/ziwang-com/AGM

If you are looking for a great project, AGM is.

吉祥物:阿格姆。

阿格姆,不象其他开源项目,特别是llm项目,都是温驯的乖宝宝。 阿格姆,是AI领域、GPT、LLM领域,《站在门口的野蛮人》。

阿格姆,是天生的斗士,天生的颠覆者。

阿格姆,也是包容天下的好奇宝宝。

阿格姆,虽然还是初生牛犊。 但已经显示其旺盛的生命力,以及颠覆一切的决心。

amgm001k300

ps,AMGM阿格姆也是“天命之子”Son of Destiny。

我们输入:a cute mascot for AI Token Weight Particle Model

SD2.1自动生成数张图片,其中最耀眼的就是这张。

背景

AGM阿格姆:AI权重粒子模型,是行业基于首个基于token-weight权重,从微观角度,系统研究GPT、llm大模型,内在运作机制的项目。

AGM阿格姆,并非zero-lora零训练算法升级版,而是一个全新的进化版独立项目,而且更加完整、庞大、系统。

传统AI模型机理研究,以及AI知识图谱,都是偏外部和数据,偏宏观。

GPT、llm模型,是AI领域最前沿的课题,也是人类科技最前沿的课题。

而这些最前沿的课题,居然都在采用最原始的GPU暴力运算,这本身就是一个自我矛盾、值得深入研究的的课题。

多年前,我们曾经提出过:logNET基于逻辑的AI神经网络模型,并且有成功的工程案例,运算效率,比目前最先进的AI神经网络模型,还要高1万倍以上。

无独有偶,近年,深度学习教父Geoffrey Hinton,提出的“胶囊理论”,也是类似观点。

近日,我们提出的zero-lora零训练算法模型,以及近期热门论文《TOT思维树》,都可以:

在无需额外训练的前提下,可以大幅度提高llm模型的准确度、效率。

参见: https://github.com/ziwang-com/zero-lora

https://github.com/ziwang-com/AMGM/issues

zero-lora零参数算法,可以视为AGM阿格姆的一个工程项目,或者demo案例。

AGM阿格姆,是一套全新的、完整、系统的AI理论、工程体系。

本质上,所有的AI模型,无论是全参数训练,还是lora优化调参,都是为了计算相关参数的weight权重。

wt001

lora-w16fp_20230604084233 lora-weight 权重 本质上就是fp16浮点小数

战略意义

GPT、llm等大语言模型,以及各种AI模型,基于归一化token微粒层面的研究。

理论上,使人类首次可以:基于单个token,从微观层面,从llm模型内部,系统绘制出AI模型的内部架构图,相当于AI生信领域的DNA基因图谱。

AGM阿格姆:AI基因图谱模型,对于AI模型,神经网络而言,具有重大的战略意义:

  • 首次使人类首次可以,基于单个token,从微观层面,从AI模型内部,绘制出完整的AI模型内部微架构图谱。
  • 为AI模型,神经网络“黑箱”理论,提供破解之路。
  • 为AI前沿:“一致性”瓶颈课题,提供更多研究素材,我们团队已有成功的参考案例。
  • 消除算力黑洞,新一代logNET基于逻辑的AI模型,理论上,效率比目前基于全参数训练,lora调参优化,这类暴力运算方案,效率要高1万倍以上。
  • 为AGI项目商业化,奠定理论和工程基础。

技术路线

zw团队结合自身资源,和在AI医学、AI字库、AGI项目的工程经验,初步技术路线如下:

  • 完善AGM阿格姆理论体系,探讨token的归一化架构体系。(进行中)
  • 完成基于token的归一化架构体系软件和理论建设。
  • 基于归一化token,完成llm模型的微粒度知识基因图谱。
  • 基于AGM阿格姆:AI权重粒子模型: ** 完成各种主流同构、异构llm模型的跨领域研究。 ** 完成多模态AI模型的跨领域研究。
  • 基于AGM阿格姆:AI权重粒子模型: ** 融合团队logNet逻辑神经网络理论,建立新一代类似AI生信的AI模型,llm大模型研究体系。 ** 建立系统的、微观层面,AI模型的精密研究体系,类似基于DNA基因图谱的现代精密医学体系:AI制药、基因靶标研究等。

以上技术路线,基于团队以往工程案例经验,大部分属于行业首创,100%自主知识产权。

具体实施路线,需根据项目研发实际进展,进行不断优化、调整。

团队技术优势

  • 行业首个提出完整的:AGM阿格姆工程技术路线图,并初步完成AGM阿格姆项目,理论架构体系。
  • 行业首家提出zero-lora算法模型,作为AGM阿格姆项目的工程入口。
  • 多个zero-lora项目成功案例。目前 zw-Vicuna-13B系列模型,已经迭代升级三代,在多种llm底座测试,均获得成功。
  • 在AGI、“归一化”前沿课题领域,部分理论和工程项目,处于全球行业领先水平。
  • AGM阿格姆项目细分领域:MetaFont元字库AI模型、《汉字粒子基因图谱》,均已完成
  • 团队具有30年AI一线工程经验,大量成功案例,优化经验和软件模块,可以低成本迁移。
  • 团队原创:logNET基于逻辑的AI神经网络模型,已有成功工程案例,运算效率,比目前最先进的AI神经网络模型,还要高1万倍以上。

联系合作

AGM阿格姆:AI权重粒子模型,无论是工程项目,还有相关的理论体系,有大量的工作,需要大家补充完善。

想刷高分paper,以及在GPT时代,寻找市场机会的llm创业团队,尽管放马过来。

项目网址:https://github.com/ziwang-com/AGM

有兴趣的团队和个人,请提供相关文字资料:团队核心成员简介,研究课题,合作方向,以及相关PPT资料。

联系方式:微信:zwpython,或扫描二维码。QQ:357811718(zw字王) 联系信息注明:AMGM阿格姆合作。

【智王AI资源库】

智王mini-AGI开源项目以及相关模块库,均在【智王AI资源库】提供免费下载。

百度网盘提取码:hiks

https://pan.baidu.com/s/1EH19ablXVLYQP1f-IaPS-Q?pwd=hiks

如有更改,最新下载地址请参见:

QQ群文件:655402626(GPT+千人QQ大群)

更多细节,参见公众号。欢迎加入:QQ群,微信群。

zw-GPT三合一+群二维码v2

zwagi- (4)

About

AGM阿格姆:AI基因图谱模型,从token-weight权重微粒角度,探索AI模型,GPT\LLM大模型的内在运作机制。

Topics

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published