伪分布式大数据集群安装

目录 前言 一、新建虚拟机 二、安装Centos系统 二、设置静态IP地址 三、连接xshell 四、上传安装包 五、安装JDK 六、配置IP映射 七、设置SSH免密登录 七、安装Hadoop 启动Hadoop 八、安装Spark 九、安装MySQL 十、安装Hive 总结 前言 此次我们选择的是通过在VMware虚拟机上面进行Hadoop的安装和配置,需要准备的东西如下: 系统环境:CentOS 7 镜像:CentOS-7-x86_64-DVD-2003 JDK:jdk-8u291-linux-x64.tar.gz Hadoop:hadoop-3.1.3.tar.gz Spark:spark-3.1.1-bin-hadoop2.7.tgz 上面所需的环境准备,我已经打包整理好全部放在了网盘,有需要的同学可以自行下载,点击下载 一、新建虚拟机 使用自定义类型的配置 选择稍后安装操作系统 选择Linux操作系统,版本为Centos 7 64位 设置虚拟机名称,以及它的存放目录 设置处理器数量,配置好的可以设置为2个 设置虚拟机内存为2G,注:电脑配置差的可以设置为1G 使用网络地址转换 默认,下一步 使用默认的磁盘类型 创建新的磁盘 磁盘大小默认,点击下一步 设置磁盘存储位置 创建完成,点击完成 编辑虚拟机设置,选择Centos镜像地址 二、安装Centos系统 设置完成后点击开启虚拟机,鼠标点击安装页面,键盘方向键选择Install Centos7 语言选择简体中文 软件选择,选择GNOME桌面 点击安装位置,进入之后点击完成 开始安装 开始安装 设置root密码为:123,点两下完成 等待安装完成 点击同意许可证 设置主机名位master,点击应用 二、设置静态IP地址 点击编辑->虚拟网络编辑器 选择VMnet8,设置子网IP为:192.168.28.0,子网掩码为255.255.255.0,其他设置如图所示: 点击完成后,完成配置,选择时区为上海 设置普通用户名 设置普通用户密码,这个一定记得 安装如图所示操作,点击应用 查看IP地址,如有ens33网卡为192.168.28.100,则配置成功 三、连接xshell 四、上传安装包 上传所需的安装包到opt目录下 五、安装JDK 进入到opt目录下,解压JDK安装包 tar -zxf jdk-8u291-linux-x64.

让你的 iPhone 更酷炫:iOS 18 深色模式应用图标设置指南

iOS 18 首次允许原生更改 iPhone 应用颜色,你可以一直使用深色主题或让应用自动切换。iOS 18 测试版提供了原生更改应用颜色的功能,包括深色模式、色调调节和自动切换。本文教你如何在 iPhone 上使用 iOS 18 的深色模式应用图标的方法。 步骤详情请查看原文: 如何在 iPhone 上使用 iOS 18 的深色模式应用图标

爆火的儿童绘本如何用AI制作?一文解锁从制作到变现的全流程!

大家好我是安琪! AI绘图发展势头如此猛烈,无论是Stable Diffusion,Midjourney,还是国内百度的文心一格,字节的豆包等,AI绘图技术越来越成熟,风格也越来越多样化。那么问题来了,对于普通人来说,我们肯定会非常关心一个问题: 普通人要如何靠AI绘图,实现变现赚钱呢? 今天我将为大家详细讲解一种AI绘图变现方式——儿童绘本 本文虽然只对儿童绘本的制作以及变现的整个过程做详细的拆解,但是反过来说,AI只是工具,儿童绘本也只是变现方式之一,希望大家可以举一反三,思考更多的AI变现方式! 话不多说,我们先看效果,下面这是一个灰姑娘的儿童绘本故事 一、爆点发现 儿童绘本这一类的视频,在某书不算多,但粉丝量和流量都很可观,因为某书的主要用户群体是20-40岁左右的女性,这类群体中有很大部分是孕妈和宝妈,那对于他们来说,儿童绘本就非常符合他们的一个育儿需求。 因此,儿童绘本非常适合在某书入场! 我们在某书也能发现一些这一类做儿童绘本的账号(为了避免引流嫌疑,所有账号相关信息都做了处理) 某书账号 某书账号 某书账号 可以看到,这类账号,一旦做起来,其粉丝量和点赞量,都是非常可观的。一旦获取了流量之后,那么不管是带货还是做教学,还是卖课,都是比较容易实现的变现方式 从儿童绘本方向延伸,其实可以做的方向还有很多,比如小故事、童话故事、高考词汇、托福雅思单词、自然拼读等 二、实现方式 那么我们就从技术层面,先为大家拆解儿童绘本的制作流程 接下来,我们就通过头部账号的内容,来观察拆解实现方式 儿童故事 做儿童绘本的基础,是一个引人入胜的故事。当然了,既然是儿童绘本,就故事更多针对儿童向。故事的来源一般情况下可以有两种来源:从公域寻找,和使用GPT(或其他大模型)创造故事 1.公域寻找 公域寻找的目的主要是为了规避版权问题,既然是想通过儿童绘本来做变现赚钱,那么版权问题是一定要注意的,如果不是自己写故事,那么故事来源一定要规避版权问题。 gutenberg pdfdrive 当然了,这类站点其实也很多,只要能找到适合做儿童绘本的故事,且无版权争议都行 2.GPT创造故事 AI发展到今天,除了绘图以外,大语言类的模型也是发展迅猛,最亮眼的莫过于ChatGPT了,想使用GPT创造一个儿童故事,简直太易如反掌了。根据GPT的特点,它可以学习投喂的数据,根据故事的风格,创造出一个全新的故事。 GPT创造故事 AI绘图 有了故事之后,就来到我们的重点了,一个合适的画风,精美的画面,是你的绘本故事能否吸引人的关键。 1. 选择画风 画风选择上,我们可以参考某书上比较受欢迎的绘本账号使用的画风,前期在起号阶段参考其他人的画风即可。常见画风有以下几种: 1.油画风 油画风 2.皮克斯风 皮克斯风 3.漫画风 漫画风 4.西式绘本风 西式绘本风 以上是目前某书里做儿童绘本的头部账号的常用画风,从数据上来看,油画风是最受欢迎的风格 还有很多诸如此类的画风对应的提示词: Oil painting(油画),Comics(漫画),cartoons(卡通),realism(写实),fantasy(奇幻),science fiction(科幻),ancient(古代),pixels(像素) 2. 选择工具 确定好风格之后,我们需要选择合适的绘图工具,对于儿童绘本来说,其实绘图工具不是非常受限制。 不同于真人AI写真,或AI换脸,或老照片修复等其他AI变现方式,儿童绘本对画面的质量不会特别高,一方面绘本风格不要求写实,画面中的小瑕疵,或其他夸张的表现,甚至更加适合于做绘本。 绘图部分就不详细展开,大家可自由选择绘图工具,常见有以下几种: 开源: Stable Diffusion 收费: Dall.E Midjourney 可白嫖: Leonardo.ai dreammina 文心一格 3. 绘图 接下来,我们就可以开始绘图了,对于AI绘图来说,最重要的是要告诉AI你的提示词,也就是俗称的咒语。AI需要清楚的知道你想要什么画面,所以需要你告诉他画面的元素。 比如我们使用以下提示词来描述画面: 在一个沐浴在金光下的豪华舞厅里,一位年轻女子穿着飘逸迷人的礼服和水晶高跟鞋,与一位穿着华丽服装的英俊男子共舞。空气中充满了管弦乐队的旋律和许多人羡慕的目光,这是一种迷人的气氛。这个场景捕捉到了一个神奇的夜晚和无情的时间之间的对比,突出了那个夜晚短暂的魅力和持久的影响之间的对比。 电影照片,细节,8k,趋势,惊人的艺术,丰富多彩的,3D渲染,超细节,超高清画质,最出众的画质 对于英文更友好的AI绘图工具,我们再翻译成英文提示词 In an opulent ballroom bathed in golden light, a young woman in an ethereal glamorous gown and crystal heels danced with a handsome man in gorgeous outfits.

深度学习训练基于Pod和RDMA

目录 ​编辑 引言 RDMA技术概述 InfiniBand iWARP RoCE Pod和容器化环境 深度学习训练与RDMA结合 MPI和RDMA 深度学习框架与RDMA 实战:基于Pod和RDMA的深度学习训练 环境准备 步骤 YAML 性能和优势 结论 引言 随着深度学习在人工智能领域的快速发展,其在计算机视觉、自然语言处理、自动驾驶等多个领域都展现了强大的能力。然而,单个GPU的计算能力和内存大小已无法满足大规模深度学习训练的需求。为了使用更多的计算能力并缩短训练时间,分布式训练已成为解决大规模深度学习问题的关键方法。其中,RDMA(Remote Direct Memory Access)网络因其极高带宽与极低延迟的特性,在分布式训练中发挥着重要作用。本文将详细介绍如何在基于Pod的容器化环境中,利用RDMA网络进行深度学习训练。 RDMA技术概述 RDMA技术提供了一种跨过CPU、操作系统和TCP/IP协议栈,直接访问远端内存到本地内存的方式。它具有低延迟和低CPU使用率的优点。RDMA技术主要有三种实现方式:InfiniBand、iWARP和RoCE。其中,RoCE因其综合性能较好、兼容性较优、价格普惠而受到广泛认可。 InfiniBand InfiniBand设计之初就考虑了RDMA,从硬件级别保证可靠传输,但网卡和交换机的价格昂贵,兼容性差。 iWARP iWARP基于TCP或SCTP实现RDMA,对网络设备的要求较少,但TCP连接需要占用内核资源,市场认可度较低。 RoCE RoCE基于Ethernet实现RDMA,消耗的资源比iWARP少,支持的特性比iWARP多,需要FCoE实现可靠传输。RoCE的综合性能较好,价格普惠,且最新版本RoCEv2支持IPv4和IPv6,具有良好的可扩展性和应用前景。 Pod和容器化环境 在容器化集群环境中运行分布式模型训练时,通常使用Pod作为容器的基本单位。Pod是Kubernetes中的最小部署单元,可以包含一个或多个容器。在基于Pod的环境中,容器网络接口(CNI)用于实现容器间的网络通信。 深度学习训练与RDMA结合 MPI和RDMA MPI(Message Passing Interface)是一门比较老的技术,在高性能计算界几乎是标配,其对RDMA优化较好。MPI最大的优势有两点:一是MPI有一个高性能allreduce的实现,底层实现了tree aggregation;二是程序可以无缝移植到异构高性能计算环境,例如InfiniBand。 深度学习框架与RDMA 已有的深度学习框架大部分是基于传统的TCP/IP技术实现数据通信,在向RDMA网络移植时,有不同的技术方法可以选择:IPoIB、MPI以及RDMA Verbs。在这三种方法的选择上,需要在易用性和性能方面做出权衡。不合适的决策可能导致复杂且难以维护的代码实现。 例如,MXNet是一个模块化的深度学习框架,通过修改MXNet使其可以在RDMA网络上运行,可以将深度学习训练过程的通信部分划分为三个层次:点对点通信、Allreduce通信以及端到端训练。依据这种层次划分,可以提出增量式的移植与优化方法,使得性能的提升更有据可循。实验结果表明,在使用100个GPU时,并行效率可以从IPoIB版本的53%提升到96%,接近线性加速。 实战:基于Pod和RDMA的深度学习训练 环境准备 硬件环境: 服务器:若干台支持RDMA的服务器网卡:支持RoCE或InfiniBand的网卡交换机:支持RoCE或InfiniBand的交换机软件环境: Kubernetes集群:用于管理Pod和容器深度学习框架:如TensorFlow、PyTorch或MXNetMPI库:如mvapich2或MPICH容器网络接口(CNI)插件:支持RDMA的CNI插件 步骤 部署Kubernetes集群: 在服务器上安装Kubernetes,并配置网络插件以支持RDMA。配置RDMA网络: 在服务器上安装并配置RDMA网卡和驱动。配置交换机以支持RDMA网络。部署深度学习框架: 在Kubernetes集群中部署深度学习框架,并配置其使用RDMA进行通信。编写分布式训练代码: 使用MPI编写分布式训练代码,并配置其使用RDMA进行通信。将代码打包成容器镜像,并上传到Kubernetes集群中。创建Pod并启动训练: 使用Kubernetes的YAML文件定义Pod,并指定使用RDMA网络。启动Pod并开始进行分布式训练。 YAML 在Kubernetes中,要配置一个使用GPU和RDMA网络的Pod,需要创建一个YAML文件来定义Pod的规格。以下是一个示例YAML文件,它定义了一个使用example-gpu-dnn镜像的Pod,并假设你已经有一个支持RDMA的网络插件在Kubernetes集群中运行。 apiVersion: v1 kind: Pod metadata: name: example-gpu-dnn-pod labels: app: example-gpu-dnn spec: containers: - name: example-gpu-dnn-container image: example-gpu-dnn:latest imagePullPolicy: IfNotPresent resources: limits: nvidia.

Python 爬虫从入门到入狱之路一

实际上爬虫一共就四个主要步骤: 明确目标 (要知道你准备在哪个范围或者网站去搜索)爬 (将所有的网站的内容全部爬下来)取 (去掉对我们没用处的数据)处理数据(按照我们想要的方式存储和使用) 我们在之前写的爬虫程序中,都只是获取到了页面的全部内容,也就是只进行到了第2步,但是大部分的东西是我们不关心的,因此我们需要将之按我们的需要过滤和匹配出来。这时候我们就需要用到了正则表达式。 什么是正则表达式 正则表达式,又称规则表达式,通常被用来检索、替换那些符合某个模式(规则)的文本。 正则表达式是对字符串操作的一种逻辑公式,就是用事先定义好的一些特定字符、及这些特定字符的组合,组成一个“规则字符串”,这个“规则字符串”用来表达对字符串的一种过滤逻辑。 给定一个正则表达式和另一个字符串,我们可以达到如下的目的: 给定的字符串是否符合正则表达式的过滤逻辑(“匹配”);通过正则表达式,从文本字符串中获取我们想要的特定部分(“过滤”)。 正则表达式匹配规则 Python 的 re 模块 在 Python 中,我们可以使用内置的 re 模块来使用正则表达式。 有一点需要特别注意的是,正则表达式使用 对特殊字符进行转义,所以如果我们要使用原始字符串,只需加一个 r 前缀,如下: r'python\\t\\.\\tpython' re 模块的一般使用步骤如下: 使用 compile() 函数将正则表达式的字符串形式编译为一个 Pattern 对象 通过 Pattern 对象提供的一系列方法对文本进行匹配查找,获得匹配结果,一个 Match 对象。 最后使用 Match 对象提供的属性和方法获得信息,根据需要进行其他的操作 compile 函数 compile 函数用于编译正则表达式,生成一个 Pattern 对象,它的一般使用形式如下: 1 import re 2 3 # 将正则表达式编译成 Pattern 对象 4 pattern = re.compile(r'\\d+') 在上面,我们已将一个正则表达式编译成 Pattern 对象,接下来,我们就可以利用 pattern 的一系列方法对文本进行匹配查找了。 Pattern 对象的一些常用方法主要有: match 方法:从起始位置开始查找,一次匹配search 方法:从任何位置开始查找,一次匹配findall 方法:全部匹配,返回列表finditer 方法:全部匹配,返回迭代器split 方法:分割字符串,返回列表sub 方法:替换 match 方法 match 方法用于查找字符串的头部(也可以指定起始位置),它是一次匹配,只要找到了一个匹配的结果就返回,而不是查找所有匹配的结果。它的一般使用形式如下:

【MySQL】视图

视图 1.视图2.基本使用3.视图规则和限制 点赞👍👍收藏🌟🌟关注💖💖 你的支持是对我最大的鼓励,我们一起努力吧!😃😃 首先说一下这个视图和前面的事务中的Read View没有任何关系!就如老婆和老婆饼一样。 1.视图 视图是一个虚拟表,它可以把查询出来的结果暂时以表结构的方式保存起来,其内容由查询定义。视图同真实的表一样,视图包含一系列带有名称的列和行数据。视图的数据变化会影响到基表,基表的数据变化也会影响到视图。 基表就是你要查询的表,然后可以把据查询的结果以表的结构保存起来这就是视图。 2.基本使用 创建视图 create view 视图名 as select语句; 做个案例,我想知道每一个员工和它对应的名字是多少。 其实这就是多表查询。我们前面学过了。 我们可以弄一个内连接。 如果我以后非常高频想根据一个人的名字拿到他所在的部门,我们可以对表做内连接然后筛选一下。这没问题,但是每次都要对这样做然后太麻烦了,因此我们可以使用位图! 注意当前右边现在的表结构。 现在我们可以把select查询到的结果,当做一张视图。 创建视图 create view myview as select ename,dname from emp inner join dept on emp.deptno=dept.deptno; 注意细节,我们又一次执行相同的sql语句时,报错了说表myview已经存在了。然后我们查表的时候发现确实就是多了一个myview表结构。它其实就是表。可以认为就是在内存中创建好这张表结构就是按照对应筛选好的数据创建的然后筛选的数据放在里面。 当查的时候可以seledct直接查。 这样做的好处就是,如果将来高频想获得一个员工和它对应的部门名,那就不用在那么麻烦多表查询然后再筛选了,可以把结果查出来以视图的方式放在这,在查的时候我们只用查视图就好了。 因为视图的数据来源都是从基表来的,那把视图里的数据修改会不会影响基表数据呢?把基表里的数据修改会不会影响视图里的数据呢? 可以看到,修改了视图,是会对基表数据有影响,说明视图和基表是打通的。真的是这样吗,我们在对基表修改一下看看。 我们这个视图可不是从一张表来的,我们也可以对dept表中数据修改一下看看。发现对基表中数据修改,视图中的数据也变。这说明视图和基表确实是打通的。 删除视图 drop view 视图名; 3.视图规则和限制 与表一样,必须唯一命名(不能出现同名视图或表名)创建视图数目无限制,但要考虑复杂查询创建为视图之后的性能影响视图不能添加索引,也不能有关联的触发器或者默认值视图可以提高安全性,必须具有足够的访问权限order by 可以用在视图中,但是如果从该视图检索数据 select 中也含有 order by ,那么该视图中的 order by 将被覆盖视图可以和表一起使用(内联,左外连接,右外连接)

【MATLAB源码-第96期】基于simulink的光伏逆变器仿真,光伏,boost,逆变器(IGBT)。

操作环境: MATLAB 2022a 1、算法描述 1. 光伏单元(PV Cell) 工作原理:光伏单元通过光电效应将太阳光转换为直流电。它们的输出取决于光照强度、单元温度和负载条件。 Simulink建模:在Simulink中,光伏单元可以通过预设的模块来建模,这些模块能模拟不同环境条件下的电气行为。例如,可以调整参数以模拟不同的光照强度和温度条件,从而分析其对电压、电流和功率输出的影响。 2. Boost变换器 功能:Boost变换器是一种DC-DC转换器,用于提升电压。它通过储能元件(如电感)和开关元件(如晶体管)来调节输出。 Simulink建模:在Simulink中,Boost变换器可以通过电感、开关和其他基本元件来建模。还可以模拟控制逻辑,例如PWM(脉宽调制)控制,以优化电压转换效率和响应时间。 3. 逆变器(IGBT) 核心作用:逆变器将直流电转换为交流电。在光伏系统中,这一过程对于将太阳能转换为可用于家庭或电网的交流电至关重要。 IGBT特点:IGBT是高效率、高速度的半导体设备,非常适合于高电压和电流的逆变器应用。 Simulink建模:逆变器的Simulink模型通常包括IGBT开关、滤波器和控制系统。通过模拟逆变器的开关行为(例如使用SPWM - 正弦波脉宽调制技术),可以产生所需频率和波形的交流输出。 控制策略和算法 MPPT(最大功率点跟踪):这是一种用于优化光伏单元输出功率的算法。在Simulink模型中,MPPT可以帮助自动调整系统参数(如Boost变换器的占空比),以确保在不同的光照和温度条件下都能从光伏单元中提取最大功率。 逆变器控制:逆变器的控制逻辑确保了交流输出的稳定性和效率。这可能包括频率控制、相位控制和电压调节等。 2、仿真结果演示 3、关键代码展示 略 4、MATLAB 源码获取 点击下方原文链接获取 【MATLAB源码-第96期】基于simulink的光伏逆变器仿真,光伏,boost,逆变器(IGBT)。_simulink pv boost-CSDN博客https://blog.csdn.net/Koukesuki/article/details/134841409?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522171927962516800222895011%2522%252C%2522scm%2522%253A%252220140713.130102334.pc%255Fblog.%2522%257D&request_id=171927962516800222895011&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2~blog~first_rank_ecpm_v1~rank_v31_ecpm-1-134841409-null-null.nonecase&utm_term=96&spm=1018.2226.3001.4450

推荐开源项目:Navicat 16/17 Mac版无限重置试用期脚本

推荐开源项目:Navicat 16/17 Mac版无限重置试用期脚本 在数据库管理的日常工作中,我们经常需要使用强大的数据可视化工具,比如Navicat。然而,试用期限的限制可能会阻碍我们的工作流程。现在,有一个开源解决方案可以解决这个问题——一个专为Mac用户设计的Navicat 16和17版本试用期无限重置脚本。 项目介绍 这个开源项目提供了一个名为reset_navicat.sh的shell脚本,以及一个便捷的reset_navicat.command,旨在帮助用户轻松重置Navicat for Mac的试用期,让你能够持续使用这款强大的数据库管理工具而无需担心时间限制。该项目完全免费,并且遵循LGPL开源许可协议。 技术分析 该脚本的核心在于其巧妙地修改了Navicat软件内部的时间戳,使其认为试用期尚未过期。它不需要复杂的配置或专业知识,只需简单几步操作,就能在终端中轻松执行。由于是针对macOS系统的,所以Windows用户需要注意这一点。 应用场景 这个脚本适合所有在学术研究、个人项目或是工作中依赖Navicat Premium的Mac用户。特别是对于那些需要长期使用Navicat但无法立即购买许可证的开发者和数据库管理员来说,这是一个非常实用的工具。 项目特点 易用性 - 无需专业编程知识,只需几个简单的命令即可重置试用期。兼容性 - 已经经过多版本的Navicat(包括16.2.9至16.3.9及17.0.6至17.0.9)测试,确保兼容性。安全免费 - 本脚本遵循LGPL开源许可,供个人学习使用,但严禁用于商业目的。便捷脚本 - 提供双击执行的.command文件,方便非熟练终端用户使用。 在遵循项目使用条款的前提下,如果你是Navicat的忠实用户,那么这个脚本绝对值得尝试。它将使你的开发环境始终保持高效稳定,让数据库管理工作更加得心应手。不过,请记得,尊重软件开发商的努力,条件允许时还是建议购买官方许可支持他们的开发工作。

苹果或将在AI领域与Meta合作;OpenAI收购Rockset;Anthropic最新模型已达专业博士水平 | AI头条...

整理 | 王轶群 出品 | AI 科技大本营(ID:rgznai100) 一分钟速览新闻点! 苹果或将在 AI 领域与 Meta 合作,Anthropic 和 Perplexity 参与了讨论 因欧盟规定,苹果推迟在欧洲推出 Apple Intelligence OpenAI 以换股方式收购 Rockset,估值最高36亿 OpenAI 首席技术官 Mira Murati:预计几年内“博士级智能”的 AI 就会出现 Anthropic 最新发布的 Claude 3.5 Sonnet 模型达到了专业博士水平 Microsoft 开源公布新的针对视觉分析应用 AI 模型 Florence-2 Stability AI 获超 1 亿美元投资并任命新的 CEO 杨立昆建议学生和学术研究人员不要将 LLM 作为通往人类级 AI 的道路 月之暗面回应进军美国市场:目前没有开发和发布任何海外产品的计划 华为云盘古大模型 5.0 发布,“夸父”人形机器人现身 鸿蒙 NEXT 首次将 AI 能力融入系统,小艺升级为智能体 快手可灵大模型开放图生视频,视频续写最长可达3分钟 阿里云推出首个 AI 程序员,“分钟级”完成应用开发 环球音乐集团与 AI 音乐技术公司 SoundLabs 合作 全球 AI 要闻

Web实时通信的学习之旅:SSE(Server-Sent Events)的技术详解及简单示例演示

文章目录 一、什么是SSE二、SSE技术的基本原理三、SSE适用于场景四、Node服务端示例1、协议2、格式3、事件3.1、事件3.2、事件唯一标识符3.3、重连事件 4、具体示例 五、客户端示例1、检测客户端是否支持SSE2、创建客户端连接3、事件监听4、接收事件5、自定义事件6、错误处理7、主动断开连接8、具体示例 六、注意事项1、nginx配置2、EventSource 一、什么是SSE 服务器向浏览器推送信息,除了 WebSocket,还有一种方法:Server-Sent Events(以下简称 SSE)。 SSE(Server-Sent Events)是一种用于实现服务器主动向客户端推送数据的技术,也被称为“事件流”(Event Stream)。它基于 HTTP 协议,利用了其长连接特性,在客户端与服务器之间建立一条持久化连接,并通过这条连接实现服务器向客户端的实时数据推送。 SSE 是HTML5规范的一部分,该规范非常简单,主要由两部分组成:第一部分是服务端与浏览器端的通讯协议(Http协议),第二部分是浏览器端可供JavaScript使用的EventSource对象。 严格意义上来说,Http协议是无法做到服务器主动想浏览器发送协议,但是可以变通下,服务器向客户端发起一个声明,我下面发送的内容将是 text/event-stream 格式的,这个时候浏览器就知道了。响应文本内容是一个持续的数据流,每个数据流由不同的事件组成,并且每个事件可以有一个可选的标识符,不同事件内容之间只能通过回车符\r 和换行符\n来分隔,每个事件可以由多行组成。目前除了IE和Edge,其他浏览器均支持。 二、SSE技术的基本原理 客户端向服务器发送一个GET请求,带有指定的header,表示可以接收事件流类型,并禁用任何的事件缓存。 服务器返回一个响应,带有指定的header,表示事件的媒体类型和编码,以及使用分块传输编码(chunked)来流式传输动态生成的内容。 服务器在有数据更新时,向客户端发送一个或多个名称:值字段组成的事件,由单个换行符分隔。事件之间由两个换行符分隔。服务器可以发送事件数据、事件类型、事件ID和重试时间等字段。 客户端使用EventSource接口来创建一个对象,打开连接,并订阅onopen、onmessage和onerror等事件处理程序来处理连接状态和接收消息。 客户端可以使用GET查询参数来传递数据给服务器,也可以使用close方法来关闭连接。 三、SSE适用于场景 SSE适用场景是指服务器向客户端实时推送数据的场景,例如: 股票价格更新:服务器可以根据股市的变化,实时地将股票价格推送给客户端,让客户端能够及时了解股票的走势和行情。 新闻实时推送:服务器可以根据新闻的更新,实时地将新闻内容或标题推送给客户端,让客户端能够及时了解最新的新闻动态和信息。 在线聊天:服务器可以根据用户的发送,实时地将聊天消息推送给客户端,让客户端能够及时收到和回复消息。 实时监控:服务器可以根据设备的状态,实时地将监控数据或报警信息推送给客户端,让客户端能够及时了解设备的运行情况和异常情况。 SSE适用场景的特点是: 数据更新频繁:服务器需要不断地将最新的数据推送给客户端,保持数据的实时性和准确性。 低延迟:服务器需要尽快地将数据推送给客户端,避免数据的延迟和过期。 单向通信:服务器只需要向客户端推送数据,而不需要接收客户端的数据。 chatGPT 返回的数据 就是使用的SSE 技术 实时数据大屏 如果只是需要展示 实时的数据可以使用SSE技术 而不是非要使用webSocket 四、Node服务端示例 EventSource这个api是一个用于接收服务器发送事件(Server-Sent Events,SSE)的Web API接口。服务器发送事件是一种让服务器端能够主动向客户端发送数据的技术,它使用HTTP协议,并且遵循一定的格式。 1、协议 SSE 协议非常简单,正常的Http请求,更改请起头相关配置即可 Content-Type: text/event-stream,utf-8 Cache-Control: no-cache Connection: keep-alive 2、格式 文本流基础格式如下,以行为单位的,以冒号分割 Field 和 Value,每行结尾为 \n,每行会Trim掉前后空字符,因此 \r\n 也可以。 每一次发送的信息,由若干个message组成,每个message之间用\n\n分隔。每个message内部由若干行组成,每一行都是如下格式。 field: value\n field: value\r\n Field是有5个固定的name

GPT-5:人工智能的新篇章,未来已来

目录 GPT-5:人工智能的新篇章,未来已来 引言 1.人工智能的快速发展和对现代社会的影响 2.OpenAI首席技术官米拉·穆拉蒂关于GPT-5发布的消息 3.GPT-5对AI领域的潜在影响和期待 4.迎接GPT-5时代的准备 方向一:GPT-5技术突破预测 1.1 GPT-5的技术创新 深度学习算法的进步 新架构的探索 计算能力和数据处理能力的提升 1.2 NLP技术的革新 语言理解的深度和广度 多语言和方言的处理能力 上下文理解和推理能力的提升 1.3 算法进步的推动力 机器学习模型的优化 训练效率的提升 创新算法在特定领域的应用 1.4 技术突破对行业的推动 医疗行业的变革 法律行业的变革 教育行业的变革 新商业模式和服务的出现 1.5 技术突破的社会影响 就业市场的变革 教育和培训的需求变化 方向二:智能系统与人类协作 2.1 “博士级”AI的角色 AI在决策支持中的作用 创造力增强 特定任务中达到人类水平的AI系统 2.2 人机协同的未来图景 人机协作的新模式 工作流程的变革 人类与AI的互补性 2.3 增强人类能力的策略 人机交互界面的发展 人类技能的培养和更新 2.4 人机协作的伦理和法律问题 数据隐私和AI伦理的讨论 法律框架的建立和完善 社会接受度和适应性 方向三:迎接AI技术变革策略 3.1 教育领域的变革 教育体系的适应和课程内容的更新 计算思维和跨学科能力的培养 3.2 职业发展的新方向 终身学习和技能更新的重要性 新兴职业机会的探索 3.3 政策制定的挑战与机遇 促进技术创新和保障社会公平的政策制定 数据隐私保护和AI伦理的法规 3.4 社会适应AI的策略 社会对AI技术的接受度和适应性

AI交互及爬虫【数据分析】

各位大佬好 ,这里是阿川的博客,祝您变得更强 个人主页:在线OJ的阿川 大佬的支持和鼓励,将是我成长路上最大的动力 阿川水平有限,如有错误,欢迎大佬指正 Python 初阶 Python–语言基础与由来介绍 Python–注意事项 Python–语句与众所周知 数据清洗前 基本技能 数据分析—技术栈和开发环境搭建 数据分析—Numpy和Pandas库基本用法及实例 AI交互爬虫前 必看 数据分析—三前奏:获取/ 读取/ 评估数据 数据分析—数据清洗操作及众所周知 数据分析—数据整理操作及众所周知 数据分析—统计学基础及Python具体实现 数据分析—数据可视化Python实现超详解 数据分析—推断统计学及Python实现 数据分析—线性及逻辑回归模型 目录 AI概述AI在编程领域的应用主流AIAI注意事项数据分析领域AI作用及爬虫 AI概述 在这个时代 AI 与我们每个人 息息相关 1956年 在美国召开了第一场人工智能研讨会,由此人类开始了对人工智能道路探索。 在这场会议上,纽维尔和西蒙演示了一个名为"逻辑学家"的程序充分展示了机器能做类似推理的工作。在这个会议上人工智能获得了定义。 1978年 国内第一所 人工智能与智能控制研究组在清华大学成立,并且同年招收了第1批硕士生。那时主要以智能机器人作为主要研究方向。 1990年,智能技术与系统国家重点实验室正式建立,标志着中国第1次开始正式开展人工智能相关研究。 时间发展至今,人工智能已经有三个阶段:第一代人工智能,第二代人工智能,第三代人工智能。 从最初的第一代人工智能,让机器像人一样思考,培养从已知知识出发,推出新的结论、新的知识的能力。 第二代人工智能主要基于人工神经网络模拟人脑脑神经网络的工作原理 但是第二代人工智能由于所有训练的数据 均来自客观世界,从而它的识别只能识别不同的物体,并不能真正的认识物体。 第三代人工智能则是依靠模型和算法来支持发展,并在此过程中发展了一系列人工智能理论。 而目前市面上的AI大语言模型,则是将第一代人工智能的知识为驱动,和第二代人工智能的数据以及提炼出的算法和模型以及算力同时运用而成。 大语言模型的大,来自于两个"大" 第1个"大"是大的人工神经网络 人工神经网络可以用来分类学习数据中间的关联关系,也可以用来预测。 第2个"大"是大的文本 由于第1个大的发展,导致所有文本不用经过任何预处理就可以学习,所以文本就由最初的GB量级发展为TB量级。 大模型的局限性 缺乏主动性(依赖于提示工程)且输出质量不可控(会出现计算机"幻觉"), 且AI工具尚不能准确分辨对错,也难以主动进行自我迭代(也需要不断花钱去砸算力)。 但目前人工智能最大的问题是: 即专用人工智能(在 特定 的领域用 特定 的模型完成 特定 的任务) 而接下来人工智能将向通用人工智能进行发展 除此以外,人工智能应要具有身体,所以说必须通过机器人与客观世界连在一起 在未来,越来越多的人学习AI是大势所趋,而学习AI的人要么向各行各业转移,为各行各业进行赋能;要么就和其他技术结合,发展出新的产业。 各位,人工智能对各行各业都有重大影响,但大多数是帮助人类提高工作质量和效率,而非取代人类进行工作。(引用中国科学院张钹院士的《走进“无人区”,探索人工智能之路》) 送上喜欢的一句话: “让混沌重生,然后掌握混沌” 未来已来,不因物喜,不以己悲,需要的是坚持不懈的努力,天道酬勤

Linux Redis 服务设置开机自启动

文章目录 前言一、准备工作二、操作步骤2.1 修改redis.conf文件2.2 创建启动脚本2.3 设置redis 脚本权限2.4 设置开机启动2.5 验证 总结 前言 请各大网友尊重本人原创知识分享,谨记本人博客:南国以南i、 提示:以下是本篇文章正文内容,下面案例可供参考 一、准备工作 注意:准备已安装好的Redis机器,请移步:Linux Redis部署 二、操作步骤 2.1 修改redis.conf文件 daemonize:Redis默认不是以守护进程(daemonize)的方式运行,可以通过该配置项修改,使用yes启用守护进程 # 进入redis安装路径 cd /usr/local/redis/conf/ #编辑配置文件 vim redis.conf #修改配置项: daemonize daemonize: yse 2.2 创建启动脚本 注意:使用root用户进行操作 cd /etc/init.d/ vim redis 脚本内容: #!/bin/sh ####################基础参数#################### #安装路径 package_path=/usr/local #安装名称 package_name=redis #启动端口 port=6379 #初始密码 passwd=admin123 #修改为你的redis路径 REDISPORT=${port} EXEC=${package_path}/${package_name}/bin/redis-server CLIEXEC=${package_path}/${package_name}/bin/redis-cli PIDFILE=${package_path}/${package_name}/redis_${REDISPORT}.pid CONF="${package_path}/${package_name}/conf/redis.conf" PASS="${passwd}" case "$1" in start) if [ -f $PIDFILE ] then echo "$PIDFILE exists, process is already running or crashed"

ChatGPT的原理简介

目录 前言 1. 什么是ChatGPT? 2. GPT模型的基本原理 自注意力机制 预训练和微调 3. ChatGPT的工作流程 4. ChatGPT的优势和挑战 5. 实例对话 6. 未来展望 结语 前言 在这个智能科技飞速发展的时代,聊天机器人逐渐成为我们生活中的“新朋友”。无论是日常问答,还是复杂的业务咨询,ChatGPT都能应对自如。那么,ChatGPT究竟是如何工作的呢?本文将用通俗易懂的语言,带你一探ChatGPT的“内心世界”。 1. 什么是ChatGPT? ChatGPT是一种基于GPT(Generative Pre-trained Transformer)模型的聊天机器人。简单来说,它就像一个超级智能的“聊天伙伴”,能够理解你的问题,并给出相应的回答。无论是闲聊、问问题,还是寻求建议,ChatGPT都能帮你解决问题。 2. GPT模型的基本原理 要理解ChatGPT,我们首先需要了解GPT模型的基本原理。GPT模型的核心是一种叫做“Transformer”的神经网络架构。这个架构的神奇之处在于它的“自注意力机制”。 自注意力机制 想象一下,当你在读一篇文章时,你的注意力会随着内容的变化而转移。自注意力机制就像是模型的“注意力”,它能根据输入文本的不同部分,分配不同的注意力。这使得模型能够更好地理解每个词语在句子中的作用,从而生成更自然的文本。 预训练和微调 GPT模型的训练分为两个阶段:预训练和微调。 预训练:在这个阶段,模型会在大量的文本数据上进行训练,就像是读了成千上万本书,学习语言的基本结构和规律。通过这个过程,模型掌握了语法、词汇和常识。微调:在预训练之后,模型会在特定任务的数据上进行微调。对于ChatGPT来说,这个任务就是对话生成。通过在对话数据上的微调,模型能够更好地理解和生成对话内容。 3. ChatGPT的工作流程 当你向ChatGPT输入一句话时,模型会按照以下步骤生成回复: 输入处理:首先,用户的输入会被分词和编码,转换成模型可以理解的格式。上下文理解:模型通过自注意力机制,理解输入文本的上下文和含义。生成回复:根据理解的上下文,模型生成一个概率分布,预测每个可能的下一个词语。然后,模型根据这个概率分布选择最合适的词语,逐步生成完整的回复。输出处理:生成的回复会被解码和组合,最终呈现给用户。 4. ChatGPT的优势和挑战 优势: 自然对话:ChatGPT能够生成类似人类的对话,让你感觉像是在与一个真实的人交流。广泛应用:ChatGPT可以应用于客户服务、教育、娱乐等多个领域,为用户提供便捷的服务。 挑战: 上下文理解:尽管ChatGPT在大多数情况下表现良好,但在处理复杂或长时间的对话时,可能会出现上下文理解错误。生成内容的质量:有时,ChatGPT生成的内容可能不准确或不合适,需要进一步优化和改进。 5. 实例对话 为了更直观地了解ChatGPT的工作原理,以下是一个简单的对话示例: 用户:你好,ChatGPT!今天的天气怎么样? ChatGPT:你好!我无法实时获取天气信息,但你可以通过天气预报应用或网站查看今天的天气。 在这个对话中,ChatGPT首先通过自注意力机制理解用户的问候和询问,然后根据训练数据生成一个合理的回复。 6. 未来展望 随着技术的不断进步,ChatGPT等聊天机器人将变得更加智能和实用。未来,我们可以期待更加自然和高效的人机对话,进一步提升用户体验。 结语 ChatGPT作为一种先进的聊天机器人,通过GPT模型和Transformer架构,实现了自然语言对话功能。尽管仍面临一些挑战,但其广泛的应用前景和不断改进的技术,使得ChatGPT成为人工智能领域的重要工具。希望这篇通俗易懂的文章,能帮助您更好地理解ChatGPT的工作原理。

【视觉AIGC识别】误差特征、人脸伪造检测、其他类型假图检测_dire for diffusion-generated image detection

视觉AIGC识别——人脸伪造检测、误差特征 + 不可见水印 前言视觉AIGC识别【误差特征】DIRE for Diffusion-Generated Image Detection 方法 扩散模型的角色 DIRE作为检测指标 实验结果 泛化能力和抗扰动 人脸伪造监测(Face Forgery Detection) 人脸伪造图生成 其他类型假图检测(Others types of Fake Image Detection) 🌈你好呀!我是 是Yu欸 🌌 2024每日百字篆刻时光,感谢你的陪伴与支持 ~ 🚀 欢迎一起踏上探险之旅,挖掘无限可能,共同成长! 前些天发现了一个人工智能学习网站,内容深入浅出、易于理解。如果对人工智能感兴趣,不妨点击查看。 前言 续篇:一文速览深度伪造检测(Detection of Deepfakes):未来技术的守门人 参考:https://mp.weixin.qq.com/s/inGjMdX9TTUa3hKWaMkd3A 视觉AIGC识别 根据已有的研究工作调研,将视觉AIGC识别粗略划分为: 人脸伪造检测(Face Forgery Detection):包含人脸的AIG图片/视频的检测,例如AI换脸、人脸操控等。此类方法主要关注带有人脸相关的检测方法,检测方法可能会涉及人脸信息的先验。AIG整图检测(AI Generated-images Detection):检测一整张图是否由AI生成,检测更加的泛化。这类方法相对更关注生成图与真实图更通用的底层区别,通常专注于整张图,比如近年爆火的SD、Midjounery的绘图;其他类型假图检测(Others types of Fake Image Detection):此类方法更偏向于 局部伪造、综合伪造等一系列更复杂的图片造假,当然人脸伪造也属于局部、复杂,但是是人脸场景。将AIG图与真实图拼凑、合成的图片识别也属于这一类。 这三种类型之间划分并不明晰,很多方法同时具有多种检测能力,可划分为多种类型。严格意义上说AIG整图和其他造假图检测类型可能都会包含人脸信息,但三种类型方法往往技术出发点也不同。 【误差特征】DIRE for Diffusion-Generated Image Detection Arxiv 2023 方法 作者发现DM 图可以被近似地被扩散模型重建,但真实图片不行。将重建图和原图的图片差异记为扩散重建差(DIffusion Reconstruction Error,DIRE),则DIRE可以作为特征进行2分类训练,判断是否虚假,泛化性会高很多; 扩散模型的角色 扩散模型在这里充当了一种“数字时间机器”的角色,通过将图像“倒带”回过去的某个状态,然后再“快进”到现在,来重建图像。对于合成图像而言,这种“时间旅行”的过程中丢失的信息较少,因为它们本身就是由类似的深度学习模型生成的,因此它们与扩散模型重建的版本更为接近。相反,真实图像在这一过程中会丢失更多的细节,因为它们包含了更复杂和多样的信息,这些信息在通过扩散模型的“滤镜”时难以保留。 DIRE作为检测指标 将DIRE视作一种“指纹差异仪”,它可以测量一个图像经过时间机器旅行前后的变化量。对于合成图像,这种变化相对较小,因为它们本质上已经是“时间旅行”的产物。对于真实图像,变化较大,因为时间旅行过程中它们失去了更多的原始信息。 重建图像差DIRE可以区分真实图和合成图的原因如下图: 合成图在重建后变化往往较小;真实图在重建后变化相对较大; 给大家的福利 零基础入门

Docker 镜像

简单介绍 容器镜像是一个只读包,它包含运行应用程序所需的一切。它包括应用程序代码、应用程序依赖项、一组最基本的操作系统结构和元数据。一个镜像可用于启动一个或多个容器。 如果你熟悉 VMware,就会认为映像与 VM 模板类似。虚拟机模板就像一个停止运行的虚拟机,而容器镜像就像一个停止运行的容器。如果你是一名开发人员,你可以把它们想象成类似于类。你可以从类中创建一个或多个对象,也可以从镜像中创建一个或多个容器。 我们从镜像注册表中提取容器镜像。最常见的注册表是 Docker Hub,但也有其他注册表。拉取操作会将镜像下载到本地 Docker 主机上,Docker 可以用它来启动一个或多个容器。 镜像由多个层组成,层层叠加,表现为一个对象。镜像内部是一个精简的操作系统(OS)以及运行应用程序所需的所有文件和依赖关系。由于容器的目的是快速和轻量级,因此镜像往往很小。 深入介绍 我们已经多次提到,镜像就像停止运行的容器。事实上,你可以停止一个容器并从中创建一个新的镜像。有鉴于此,镜像被认为是构建时的构造,而容器则是运行时的构造。 镜像和容器 上图显示了镜像与容器之间关系的高层视图。我们使用 docker run 和 docker service create 命令从一个镜像启动一个或多个容器。一旦从镜像启动了一个容器,这两个构造就会变得相互依赖,在使用镜像的最后一个容器停止并销毁之前,无法删除镜像。 镜像通常较小 容器的整个目的是运行单个应用程序或服务。这意味着它只需要运行应用程序的代码和依赖关系,而不需要其他任何东西。这意味着镜像也很小,并且去除了所有非必要部分。 例如 Alpine Linux 的官方镜像只有 7MB。这是因为它并不包含 6 种不同的外壳、3 种不同的软件包管理器等等......事实上,很多镜像都不包含外壳或软件包管理器--如果应用程序不需要,镜像中就不会包含。 镜像不包括内核。这是因为容器共享其运行主机的内核。镜像中包含的操作系统组件通常只有几个重要的文件系统组件和其他基本结构。这就是为什么有时你会听到有人说 "镜像包含足够多的操作系统"。 提取镜像 安装完毕的 Docker 主机在本地资源库中没有镜像。 Linux 主机上的本地镜像库通常位于 /var/lib/docker/<storage-driver>。如果你在 Mac 或 PC 上使用 Docker Desktop,一切都会在虚拟机中运行。 您可以使用以下命令检查 Docker 主机的本地存储库中是否有任何镜像。 docker images 将镜像放到 Docker 主机上的过程称为 "拉取"。因此,如果你想在 Docker 主机上安装最新的 Busybox 镜像,就必须拉取它。使用以下命令拉取一些镜像,然后检查它们的大小。 docker pull redis:latest docker pull alpine:latest docker images 正如你所看到的,这些镜像现在已经出现在 Docker 主机的本地存储库中。

AI人工智能代理工作流AI Agent WorkFlow:环境感知与数据采集机制

AI人工智能代理工作流AI Agent WorkFlow:环境感知与数据采集机制 1.背景介绍 在当今的数字化时代,人工智能(AI)已经成为推动技术进步和社会变革的核心力量。AI代理(AI Agent)作为AI技术的具体实现形式,广泛应用于自动驾驶、智能家居、金融分析等多个领域。AI代理的工作流(WorkFlow)是其实现智能决策和自动化操作的关键环节,而环境感知与数据采集机制则是AI代理工作流的基础和核心。 环境感知(Environmental Perception)是指AI代理通过传感器、摄像头等设备获取外部环境的信息,并对这些信息进行处理和理解的过程。数据采集(Data Collection)是指AI代理从环境中获取数据,并将这些数据存储、处理和分析的过程。环境感知与数据采集机制的有效实现,直接影响到AI代理的智能水平和工作效率。 2.核心概念与联系 2.1 环境感知 环境感知是AI代理理解和适应外部环境的基础。它包括以下几个方面: 传感器技术:用于获取环境中的物理信息,如温度、湿度、光照等。图像处理:通过摄像头获取图像信息,并使用计算机视觉技术进行处理和分析。语音识别:通过麦克风获取语音信息,并使用自然语言处理技术进行识别和理解。 2.2 数据采集 数据采集是AI代理获取和处理环境信息的关键步骤。它包括以下几个方面: 数据获取:通过传感器、摄像头等设备获取环境数据。数据存储:将获取的数据存储在数据库或云端,以便后续处理和分析。数据处理:对获取的数据进行预处理、清洗和转换,以便进行进一步的分析和建模。 2.3 环境感知与数据采集的联系 环境感知与数据采集是相辅相成的关系。环境感知是数据采集的前提,数据采集是环境感知的结果。通过环境感知,AI代理能够获取外部环境的信息;通过数据采集,AI代理能够将这些信息转化为可用的数据,并进行存储和处理。 3.核心算法原理具体操作步骤 3.1 环境感知算法 环境感知算法主要包括传感器数据处理、图像处理和语音识别等。以下是具体操作步骤: 传感器数据处理: 获取传感器数据,如温度、湿度、光照等。对传感器数据进行预处理,如去噪、滤波等。使用机器学习算法对传感器数据进行分析和建模。 图像处理: 获取摄像头图像数据。使用图像处理算法对图像进行预处理,如灰度化、边缘检测等。使用深度学习算法对图像进行识别和分类。 语音识别: 获取麦克风语音数据。使用语音处理算法对语音进行预处理,如降噪、分帧等。使用自然语言处理算法对语音进行识别和理解。 3.2 数据采集算法 数据采集算法主要包括数据获取、数据存储和数据处理等。以下是具体操作步骤: 数据获取: 通过传感器、摄像头等设备获取环境数据。使用数据采集算法对获取的数据进行采样和过滤。 数据存储: 将获取的数据存储在数据库或云端。使用数据存储算法对数据进行压缩和加密。 数据处理: 对获取的数据进行预处理,如清洗、转换等。使用数据处理算法对数据进行分析和建模。 4.数学模型和公式详细讲解举例说明 4.1 传感器数据处理 传感器数据处理通常涉及信号处理和统计分析。假设我们有一个传感器数据序列 $x(t)$,可以使用以下公式进行滤波处理: $$ y(t) = \sum_{i=0}^{N-1} h(i) \cdot x(t-i) $$ 其中,$h(i)$ 是滤波器的系数,$N$ 是滤波器的长度。 4.2 图像处理 图像处理通常涉及卷积操作。假设我们有一个图像矩阵 $I$ 和一个卷积核 $K$,可以使用以下公式进行卷积操作: $$ O(i, j) = \sum_{m=-k}^{k} \sum_{n=-k}^{k} I(i+m, j+n) \cdot K(m, n) $$

20240625 每日AI必读资讯

🧠姚班天才组队开发《完蛋!我被大模型包围了》续作! - 专为工作日摸鱼爱好者打造 - 背后团队主力成员范浩强,旷视6号员工,现任旷视科技研究总经理。 - 揭开《我把大模型玩坏了》的神秘面纱 🔗 姚班天才组队开发《完蛋!我被大模型包围了》续作!专为工作日摸鱼爱好者打造-CSDN博客 🌍2024年发布的研究论文中 至少有10%使用了ChatGPT! - 德国图宾根大学Hertie脑健康人工智能研究所和图宾根人工智能中心的研究团队进行的研究,分析了2010年至2024年间的1400万篇PubMed文献摘要。 - 研究表明,LLM辅助写作对科学文献产生了前所未有的影响,甚至超过了COVID-19疫情对学术写作的影响。 - 自ChatGPT发布以来,许多风格词汇的使用频率显著增加。 🔗 https://blink.csdn.net/details/1739775 🤖 LobeChat:一键免费部署自己的私有聊天机器人,你能想到的功能它都有 - 一个开源的、现代设计的LLMs/AIl聊天框架。 - 支持多个AI提供商(如OpenAl、Claude 3、Gemini、ollama、Bedrock、Azure、Mistral、Perplexity)和多模态(如视觉、TTS),并具备插件系统。 - 用户可以一键免费部署自己的私有ChatGPT聊天应用。 -支持图像识别、语音转换、文本生成图像等多种功能,并且提供插件系统来扩展其功能。 - 用户可以轻松部署和管理自己的聊天应用,并根据个人喜好自定义主题和设置。 - 项目完全开源,用户可以自由扩展和贡献代码。 🔗GitHub:https://github.com/lobehub/lobe-chat 🔗在线体验:https://chat-preview.lobehub.com 💬Omnivore:一个功能十分强大的开源的“稍后阅读”应用 - 允许用户保存、标记和分享文章,还支持添加PDF文件和邮件为文章。 - Omnivore提供了跨平台应用和浏览器扩展,方便用户在不同设备上使用。 - 用户可以离线访问已保存的内容,并可通过Logseq和Obsidian插件将Omnivore集成到他们的工作流程中。 - 项目完全开源,用户可以自由扩展和部署。 🔗GitHub:https://github.com/omnivore-app/omnivore 🔗在线体验:https://omnivore.appl 🎓EvTexture:一种提升视频分辨率的新方法 - 解决了视频细节模糊和抖动问题 - EVTexture利用事件相机捕获的高频动态细节来改善视频的纹理质量。 - 在没有事件相机的情况下,EvTexture可以通过对普通相机视频生成合成事件数据,也就是模拟事件相机的工作原理。再利用合成的高频细节信息进行视频修复和分辨率提升。 🔗项目地址:https://dachunkai.github.io/evtexture.github.io/ 🔗 EvTexture:一种提升视频分辨率的新方法解决了视频细节-CSDN blink-领先的开发者技术社区 🎥Diffutoon:将任何真实感视频直接渲染为高清动漫风格,并可通过文字进行编辑! 主要功能: - 将真实感视频转换成各种动漫风格 - 保持视频内容的一致性,避免闪烁和失真。 - 能够生成高分辨率、长时间的视频。 - 根据用户提示编辑视频内容,例如改变颜色或添加特效。 - 详细保留了光照、头发和姿势等细节,同时保持了与动画风格密切相关的视觉效果。

FydeOS开启安卓子系统教程来袭

前言 前几天有小伙伴说在FydeOS系统上开启安卓子系统失败了?当时也没有截图,小白着实不知道出现了什么问题。 就只能当作是一次正常的网络问题吧(有时候因为网络问题也会导致开启失败的)。 至于其他没有做反馈的小伙伴,可以先按照本教程开启安卓子系统试试。一般来说正常开启之后就能正常使用的。 今天废话不多说,直接开讲! 正文开始 进入FydeOS之后,一般就会直接弹出开启安卓子系统的提示,直接点击这个提示按照流程就能开启成功。 或者在开始菜单处找到【安卓设置】 就会有提示【启动FydeOS附加安卓环境】,勾选【我同意】,点击【确认启动】 等待一小会儿 就会出现下面这个界面,说明安卓系统开启成功了。 成功开启安卓子系统之后,在开始菜单处没有变化,这个很正常。 如果要下载安卓软件,则点击进入【应用商店】 接着点击【安卓程序】,就能正常下载安装安卓软件。 这里咱们尝试安装【微信】的安卓软件 右下角就会弹出下载xxx.apk,这里的.apk后缀就是安卓应用的安装包专用格式 下载完成之后,你就会看到在【开始菜单】位置出现了一个【微信】的图标。 咱们打开看看 总体来说还是可以的。 另外如果要安装对应的安卓软件,而应用商店上是没有的情况下。这时候需要共享到设备上,然后对应打开就行。 VMware共享文件夹设置教程(点我跳转) 传输过去之后就会看到安装包是长这个样子的 双击打开就能正常进入安装流程 这个岂不是很简单? --End-- 在整个测试过程中,在VMware WorkStation的FydeOS系统开启安卓子系统之后,好像会有点小问题。这时候估计需要重置一下整个系统再行安装。

【Flink metric(1)】Flink指标系统的系统性知识:获取metric以及注册自己的metric

文章目录 一. Registering metrics:向flink注册新自己的metrics1. 注册metrics2. Metric types:指标类型2.1. Counter2.2. Gauge2.3. Histogram(ing)2.4. Meter 二. Scope:指标作用域1. User Scope2. System Scope ing3. User Variables 三. Reporter ing四. System metrics ing五. REST API integration六. Dashboard integration 本文我们通过官网来整体了解下flink 指标系统的系统性支持 本文主要关注: 如何注册自定义指标,如何进行更新指标数据指标定义的层级:即指标的scope简单介绍,指标如何报告给外部系统、有哪些系统指标指标如何通过REST API获取在flink UI上创建Dashboard的方法 Flink exposes a metric system that allows gathering and exposing metrics to external systems. flink 暴露了一个指标系统,可以收集和暴露指标给外部系统。 一. Registering metrics:向flink注册新自己的metrics 1. 注册metrics 任何继承了RichFunction 的用户函数,都可以通过调用:getRuntimeContext().getMetricGroup() ,来访问flink的metric system。方法返回的MetricGroup可以用来创建和注册新的指标。 2. Metric types:指标类型 flink支持 Counters, Gauges, Histograms and Meters.