基于python的网络爬虫爬取天气数据及可视化分析(Matplotlib、sk-learn等,包括ppt,视频)

基于Python爬取天气数据信息与可视化分析(文末完整源码) 基于python的网络爬虫爬取天气数据及可视化分析 可以看看演示视频。 摘要 基于Python爬取天气数据信息与可视化分析 本论文旨在利用Python编程语言实现天气数据信息的爬取和可视化分析。天气数据对于人们的生活和各个领域都有着重要的影响,因此准确获取和有效分析天气数据对于气象预测、农业、旅游等方面至关重要。 在本文中,我们首先介绍了Python编程语言的基本原理和相关库的使用。Python作为一种简单易学且功能强大的编程语言,被广泛应用于数据处理和分析领域。通过使用Python,我们可以方便地进行网页爬取和数据处理。详细介绍了如何使用Python编写网络爬虫程序来获取天气数据。我们选择了一些知名的气象网站作为数据源,并通过分析网页结构和标签,准确提取所需的天气信息。通过编写自动化的爬虫程序,可以快速获取大量的天气数据。 我们介绍了如何使用Python的数据处理和分析库对获取的天气数据进行清理和整理。我们使用Pandas和NumPy等工具,去除重复数据、处理缺失值,并进行格式转换,确保数据的准确性和一致性。 最后,我们展示了如何使用Python的可视化库对清理后的天气数据进行可视化分析。我们使用Matplotlib库,绘制折线图、散点图等,展示不同时间段内的温度变化、湿度分布等。通过这些可视化图表,我们可以更直观地观察和分析天气数据,揭示其潜在的趋势和规律。 通过使用Python编程语言,我们可以快速获取和分析大量的天气数据,并通过可视化手段展示其特征和规律。这将有助于人们更好地理解和应用天气数据,从而做出更准确的决策和规划。 关键词:天气数据信息;处理数据信息;数据可视化分析;模型构建 第1章 引言 1.1 选题背景与意义 天气数据是人们日常生活中非常重要的信息之一,对于气象学、农业、城市规划、交通运输等领域都有着重要的影响。随着科技的发展,越来越多的天气数据可以通过互联网获取,而通过Python爬取天气数据并进行可视化分析就成为了一个热门的研究方向。 数据获取与处理:通过Python爬取天气数据,可以方便地获取到各种天气参数,如温度、湿度、降水量等。这些数据对于研究天气变化、分析气候模式、进行气象预测具有重要意义。 数据分析与模式识别:通过对爬取的天气数据进行统计分析和模式识别,可以揭示天气现象的规律性和周期性。这有助于理解天气变化的趋势和模式,为气象预测和应对天气变化提供参考。 可视化分析:通过将天气数据进行可视化分析,可以更直观地展示天气变化的趋势和模式。这有助于决策者更好地理解和利用天气信息,例如用于城市规划、交通运输等方面的决策制定。 因此,基于Python爬取天气数据并进行可视化分析作为本文选题具有重要的背景和意义,对于提高天气数据的利用价值以及相关领域的研究和应用都具有积极的推动作用。 1.3 本文的研究内容与主要工作 本文涵盖了气象数据的获取、处理与分析,以及基于历史天气数据进行的气候变化研究、预测模型建立等方面。在数据获取方面,使用各种方法从气象局、科研机构或第三方数据提供商获取历史天气数据。同时,也有研究对获取的数据进行清洗、整合和格式化处理,确保数据的可靠性和完整性。同时使用Python编程语言中的数据分析库(如pandas、numpy)和可视化库(如matplotlib)来进行历史天气数据的分析和可视化。这些工具可以帮助更好地理解数据中的规律和趋势,并生成直观的可视化图表。并且可以利用历史天气数据来研究气候变化趋势,包括全球范围的气候变化、特定地区的气候特征变化等。通过分析历史天气数据,可以发现气候变化的规律,并探讨其对生态环境、农业生产等方面的影响。除了纯粹的数据分析和可视化,还有建立气象数据的预测模型,以实现对未来天气情况的预测。这些模型通常基于历史气象数据和机器学习算法,能够为气象预报提供更准确的参考。 1.4 本文的论文结构与章节安排 本文共分为5章,章节内容安排如下: 第1章:引言第2章:历史天气网站数据的获取第3章:数据可视化分析与处理第4章:模型预测第5章:总结与展望 第2章 历史天气网站数据的获取 2.1 天气网站数据来源 数据来源:查看天气网网址:http://www.tianqi.com.cn。访问广东省东莞市的天气网址:https://lishi.tianqi.com/dongguan/index.html,利用Python的爬虫技术从网站上爬取东莞市2018-2023年天气数据信息。 2.2 利用Python进行数据爬取与数据处理 首先查看中国天气网的网址:https://lishi.tianqi.com/dongguan/index.html。访问广东省东莞市的天气信息,我们主要访问的是2023年中国天气网的天气数据,对东莞2023年1-11月份数据进行爬取。采用requests.get方法,请求网页,运行后显示成功访问,则得到的是网页的所有字符串文本。这就是请求过程。 采用xpath库对获取的字符串进行数据提取:首先对网页进行检查,找到需要获取数据的标签(截图举例说明)采用lxml解析HTML、XPath提取数据,通过循环调用getWeather函数,找到需要获取数据的标签,提取标签的数据值,保存到对应列表并进行切片处理。 2.3 数据存储与数据标准化处理 数据存储:将爬取的数据存储在CSV文件中,对数据进行了结构化处理,每个样本包含日期、最高气温、最低气温、天气状况、风向、风速6个特征数据。 数据标准化处理:对读取存储的CSV数据文件对数据进行格式化、清洗,去掉无效行等将数据转换为字典的格式,即每个字典代表一天的数据,字典的键和爬虫部分一致,但是值都转换为合适的类型,例如日期转换为datetime对象,温度转换为浮点数等,方便后续处理数据分析与可视化。 第3章 数据可视化分析与处理 3.1 利用matplotlib库绘制图像 折线图:采用matplotlib中plt.plot()方法分别制作出每月的温度变化曲线图,并用plt.plot()方法点出最高温和最低温,并分别画出最高温度线、最低温度线。 散点图:使用plt.scatter()方法将日期和时间为横坐标、温度为纵坐标,每天气温情况在图中绘制出来,展示相关数据。 饼状图:使用plt.pie()方法对每月天气状况进行了饼状图绘制,并且根据5个等级的不同。相应饼柱状图的颜色各异,更直观的显示天气状况。 热力图:使用plt.imshow()方法将日期和时间为横坐标、温度范围为纵坐标,整合最高温度和最低温度数据。 3D立体图:使用ax.plot_trisurf和ax.grid方法绘制月最高温和最低温3D曲面图。 (说明,这里本来要做抓取12个月 每个月份生成一张对应的可视化图,再将这些可视化图合作一个GIF动态图,达到类似轮播图的效果。直到我刚好看见一个动态图,有了新的想法。。。) 3.2 生成静态词云与动态词语图 使用wordcloud库,创建WordCloud对象,设置参数生成词云图,使用一个热门表情包作为遮罩图片,使词云图更具特色,增强观感,吸引注意力,添加趣味性。并将词云图保存到指定的路径。 最后,我们需要制作词云动图,包括: 分解GIF帧:用opencv读取热门表情包的GIF图片,保存每一帧为图片,作为遮罩图片的序列。生成词云:对每张遮罩图片调用词云生成函数, 生成对应的词云图片,作为词云图片的序列。拼接GIF:用imageio库将词云图片的序列顺序拼接成GIF图片,并保存到指定的路径。 第4章 模型预测 4.1 构建和训练模型的设计 构建模型:使用sklearn库构建一个线性回归模型,设置参数。 训练模型:将训练集的X和Y传入,训练模型,得到模型的参数。预测模型:使用predict()方法,将测试集的X传入,得到预测Y,与测试集的真实Y进行比较,评估模型的性能。 4.2 绘制散点图一元回归线图 绘制散点图:使用matplotlib库绘制散点图,展示东莞市每一天的日期和平均温度的关系,用不同的颜色区分训练集和测试集。绘制回归线:使用matplotlib库绘制回归线,展示模型的分析结果,用不同的颜色区分训练集和测试集。设置图表:设置合适的标题、图例、坐标轴标签等,使图表清晰易懂。并将图表保存到指定的路径。 第5章 总结与展望 5.1 工作总结 在文中,我们旨在利用爬取的历史天气数据进行可视化分析。首先,我们选择了一个可靠的数据源,并使用Python编程语言和BeautifulSoup库实现了数据的爬取。接着,我们对原始数据进行了清洗和处理,包括缺失值的处理和数据格式转换。然后,我们采用了Matplotlib可视化工具,设计了多种图表类型,如折线图、柱状图和热力图,以展示历史天气数据的趋势和变化。通过分析结果,我们发现了不同时间段内温度、天气状况等指标的变化情况,并与历史数据进行了比较。总的来说,本次研究通过爬取历史天气数据并进行可视化分析,为相关领域的研究提供了有益的参考和启示。

Qwen-14B Ai新手部署开源模型安装到本地

文章目录 概要整体架构流程 概要 部署Qwen-14B开源模型安装到本地(学习笔记) 整体架构流程 1、前期准备 2、中期准备 3、后期准备 我的版本为: CUDA 版本为:12.1 PyTorch版本为:2.1.2 Python版本为:3.10.0 安装 miniconda 根据自己实际的版本进行安装 Miniconda下载地址:https://docs.conda.io/en/latest/miniconda.html 这里根据自己的电脑和自己现在电脑当中安装 Python 的版本来安装 这里安装完成后 默认安装地址:C:\Users\ADMIN\AppData\Roaming\Microsoft\Windows\Start Menu\Programs\Miniconda3 (64-bit) 在文件里会出现一个名为 Anaconda Powershell Prompt (Miniconda3)的一个控制终端 双击打开 Anaconda Powershell Prompt (Miniconda3) 输入代码来更新策略 Set-ExecutionPolicy -Scope CurrentUser RemoteSigned 输入之后 输入大写字母 A 回车。 然后输入,然后回车。 conda init 完成之后下载Visual Studio Code:https://code.visualstudio.com/ 下载源设置:(懂的都懂)很多源都在国外 所以国内有时候访问不了国外 就算能有幸访问下载速度也很慢需要一部分的国内源下载 校园网联合镜像站:https://help.mirrors.cernet.edu.cn/ 阿里巴巴开源镜像站:https://developer.aliyun.com/mirror/ Conda 更换镜像源 打开输入代码输入代码后会弹出一个文档,如果没有新建的话那么选择新建文档: notepad .condarc 上面的网址可能谷歌浏览器可能打不开会报错,换一个浏览器就可以 我是使用win自带的浏览器打开的 把复制的代码粘贴到这个地方保存 还是在刚刚的控制终端输入代码重置一下 conda clean -i 返回清华大学的镜像网站点击 返回刚刚的终端 Anaconda Powershell Prompt (miniconda3) 输入刚刚复制的代码

[NLP] 使用Llama.cpp和LangChain在CPU上使用大模型-RAG

一 准备工作 下面是构建这个应用程序时将使用的软件工具: 1.Llama-cpp-python 下载llama-cpp, llama-cpp-python [NLP] Llama2模型运行在Mac机器-CSDN博客 2、LangChain LangChain是一个提供了一组广泛的集成和数据连接器,允许我们链接和编排不同的模块。可以常见聊天机器人、数据分析和文档问答等应用。 3、sentence-transformer sentence-transformer提供了简单的方法来计算句子、文本和图像的嵌入。它能够计算100多种语言的嵌入。我们将在这个项目中使用开源的all-MiniLM-L6-v2模型。 4、FAISS Facebook AI相似度搜索(FAISS)是一个为高效相似度搜索和密集向量聚类而设计的库。 给定一组嵌入,我们可以使用FAISS对它们进行索引,然后利用其强大的语义搜索算法在索引中搜索最相似的向量。 虽然它不是传统意义上的成熟的向量存储(如数据库管理系统),但它以一种优化的方式处理向量的存储,以实现有效的最近邻搜索。 二 LLM应用架构:以文档Q&A为例 假设我们想基于自己部署的Llama2模型,构建一个用于回答针对特定文档内容提问的聊天机器人。文档的内容可能属于特定领域或者特定组织内的文档,因此不属于任何Llama2进行预训练和微调的数据集。一个直觉的做法是in-context-learning:将文档作为Prompt提供给模型,从而模型能够根据所提供的Context进行回答。直接将文档作为Context可能遇到的问题是: 文档的长度超出了模型的Context长度限制,原版Llama2的Context长度为4096个Tokens。对于较长的Context,模型可能会Lost in the Middle,无法准确从Context中获取关键信息。 因此,我们希望在构建Prompt时,只输入与用户的问题最相关的文档内容。 以下是构建文档Q&A应用的常用架构: 文档处理与存储:将原始文本进行分块 (Splitting),并使用语言模型对每块文本进行embedding,得到文本的向量表示,最后将文本向量存储在支持相似性搜索的向量数据库中。用户询问和Prompt构建:根据用户输入的询问,使用相似性搜索在向量数据库中提取出与询问最相关的一些文档分块,并将用户询问+文档一起构建Prompt,随后输入LLM并得到回答。 三 实际使用 LangChain 在上节中描述了以文档Q&A为例的LLM应用Pipeline架构。LangChain是构建该类大模型应用的框架,其提供了模块化组件(例如上文图中的Document loader, Text splitter, Vector storage)的抽象和实现,并支持集成第三方的实现(例如可以使用不同第三方提供的Vector Storage服务)。通过LangChain可以将大模型与自定义的数据源结合起来构建Pipeline。 https://github.com/langchain-ai/langchain​github.com/langchain-ai/langchain 构建步骤 我们已经了解了各种组件,接下来让逐步介绍如何构建文档问答应用程序。 由于已经有许多教程了,所以我们不会深入到复杂和一般的文档问答组件的细节(例如,文本分块,矢量存储设置)。在本文中,我们将把重点放在开源LLM和CPU推理方面。 使用llama-cpp-python启动llama2 api服务 python3 -m llama_cpp.server --model TheBloke--Chinese-Alpaca-2-7B-GGUF/chinese-alpaca-2-7b.Q4_K_M.gguf --n_gpu_layers 1 INFO: Started server process [63148] INFO: Waiting for application startup. INFO: Application startup complete. INFO: Uvicorn running on http://localhost:8000 (Press CTRL+C to quit) 使用LangChain调用本地部署的Llama2 下面的示例将使用LangChain的API调用本地部署的Llama2模型。

Python中导入Excel数据:全面解析与实践

目录 一、引言 二、选择合适的库 三、读取Excel文件 四、处理数据 五、错误处理和异常处理 1、使用try-except语句捕获和处理异常: 2、使用try-except语句捕获和处理特定异常类型: 六、性能优化 七、数据验证 1、检查缺失值: 2、检查唯一值: 3、检查范围: 八、扩展性和可维护性 1、使用函数和模块组织代码: 2、编写清晰的文档和注释: 九、总结 一、引言 在Python中导入Excel数据是一项常见的任务,因为Excel文件广泛用于存储和共享数据。通过Python,我们可以轻松地读取、处理和分析Excel数据。本文将详细介绍如何在Python中导入Excel数据,包括选择合适的库、读取数据、处理数据、错误处理、性能优化以及扩展性和可维护性等方面。 二、选择合适的库 在Python中,有多种库可用于导入Excel数据。其中最常用的库是pandas和openpyxl。pandas是一个强大的数据处理库,可以轻松地读取和处理Excel文件。openpyxl则可以处理.xlsx文件格式的Excel文件。根据您的需求和数据格式,选择合适的库是至关重要的。 三、读取Excel文件 使用pandas的read_excel()函数可以轻松读取Excel文件。该函数需要一个文件路径作为参数,并返回一个DataFrame对象,其中包含Excel文件中的数据。以下是一个简单的示例代码: import pandas as pd # 读取Excel文件 df = pd.read_excel('data.xlsx') 这将读取名为“data.xlsx”的Excel文件,并将其内容存储在DataFrame对象df中。 四、处理数据 使用pandas提供的各种方法可以轻松处理Excel数据。以下是一些常见的处理数据的示例代码: 1、列名和索引处理:如果需要更改列名或索引,可以使用columns参数或index_col参数。例如: df = pd.read_excel('data.xlsx', columns=['Name', 'Age']) # 仅读取“Name”和“Age”两列 2、缺失值处理:可以使用dropna()方法删除包含缺失值的行或列。例如: df = df.dropna(subset=['Age']) # 删除“Age”列中的缺失值行 3、数据类型转换:可以使用astype()方法将列转换为特定的数据类型。例如: df['Age'] = df['Age'].astype(int) # 将“Age”列转换为整数类型 4、排序和筛选:可以使用sort_values()和filter()方法对数据进行排序和筛选。例如: df = df.sort_values(by='Age') # 按“Age”列进行排序 df = df[df['Age'] > 18] # 筛选出年龄大于18岁的行 5、分组和聚合:可以使用groupby()和聚合函数(如sum()、mean()等)对数据进行分组和聚合。例如:

2023年度佳作:AIGC、AGI、GhatGPT 与人工智能大模型的创新与前景展望

🎬 鸽芷咕:个人主页 🔥 个人专栏:《linux深造日志》《粉丝福利》 ⛺️生活的理想,就是为了理想的生活! ⛳️ 写在前面参与规则 ✅参与方式:关注博主、点赞、收藏、评论,任意评论(每人最多评论三次) ⛳️本次送书1~3本【取决于阅读量,阅读量越多,送的越多】 📆 活动时间至:2023-12-26 20:00:00 | 随机抽取由博主动态公布抽奖结果 如有特别需要的同学可添加博主微信进入粉丝福利群发放福利哦! 🔥 注:活动结束后,会私信中奖粉丝的,各位注意查看私信哦! ⛳️ 文章末尾扫码加入粉丝群,不定期发放粉丝福利,各种专业书籍免费赠送! 文章目录 ⛳️ 写在前面参与规则前言一、《ChatGPT 驱动软件开发》推荐理由内容简介 二、《ChatGPT原理与实战》推荐理由内容简介 三、《神经网络与深度学习》推荐理由内容简介 四、《AIGC重塑教育》推荐语内容简介 五、《通用人工智能》推荐语文章目录 六、福利放送⛳️ 粉丝福利 📝全篇总结 前言 2023年是人工智能大语言模型大爆发的一年,一些概念和英文缩写也在这一年里集中出现,很容易混淆,甚至把人搞懵。 LLM: Large Language Model,即大语言模型,旨在理解和生成人类语言。LLM的特点是规模庞大,包含成百、上千亿的参数,可以捕捉语言的复杂模式,包括句法、语义和一些上下文信息,从而生成连贯的、有意义的文本。ChatGPT、GPT-4、BERT、文心一言等都是典型的大型语言模型。GPT: Generative Pre-training Transformer,是OpenAI开发的一种基于Transformer的大规模自然语言生成模型。AIGC: Artificial Intelligence Generated Content,即AI生成内容。指的是利用AI技术生成的内容,比如AI写文章、画画甚至做视频等等。AGI: Artificial General Intelligence,即通用人工智能。AGI的目标是创造一个能像人类一样思考、学习、执行多种任务的系统,成为全能的“超级大脑”,未来可能在任何领域都超越人类。 除了概念之外,如果你想进一步了解这些技术的细节和进展,推荐你读这几本书。 一、《ChatGPT 驱动软件开发》 《ChatGPT 驱动软件开发》 推荐理由 本书全面、深入地介绍了使用ChatGPT进行软件产品需求分析、架构设计、技术栈选择、高层设计、数据库设计、UI/UX 设计、后端应用开发、Web前端开发、软件测试、系统运维、技术管理等的方法与经验,目标是帮助产品经理、架构师、数据库管理员、UI/UX设计师、程序员、测试工程师、运维工程师和项目经理更深入地理解ChatGPT的实际应用和潜力,并为他们提供实用的操作建议。 通过阅读本书,读者能够掌握ChatGPT在软件产品需求分析、架构设计、代码实现、系统优化、软件测试和团队协作等方面的核心概念和方法。这将有助于软件开发企业和个人在人工智能时代迅速利用这一强大工具武装自己,实现价值创新并形成竞争优势,为未来发展奠定坚实的基础。 内容简介 作者在本书中创新性地提出了大模型时代的软件研发新范式——水母开发模式(顶部大、底部小)。该模式将研发活动分成6个层次,分别对应软件研发生命周期的分析、设计、编码、测试、部署和维护。其中分析和设计层的工作量大很多,类似水母的头部;其余4个层次的工作量较少,类似水母的触手。 除此之外,本书还给出了工程师们与ChatGPT互动(Prompt)的步骤和注意事项,整个过程分为6步,只要遵循这6步就能比较容易地获得较为满意的输出结果。 二、《ChatGPT原理与实战》 《ChatGPT原理与实战 》 推荐理由 大型语言模型的算法、技术和私有化推荐语: BAT资深AI专家和大模型技术专家撰写,MOSS系统负责人邱锡鹏等多位专家鼎力推荐!系统梳理并深入解析ChatGPT的核心技术、算法实现、工作原理、训练方法,提供大量代码及注解。 内容简介 这是一本系统梳理并深入解析ChatGPT核心技术、算法实现、工作原理、训练方法的,也是一本能指导你搭建属ChatGPT和实现大模型迁移及私有化的。本书得到了MOSS系统负责人邱锡鹏等多位家的高度评和 力 。 具体地,通过本书你能了解或掌握以下知识: ?

PostgreSQL数据类型及基本操作

文章目录 一、数据类型二、对比MySQL三、基本操作1、单引号和双引号2、数据类型转换3、数字类型1)整数2)浮点数3)序列4)常见操作 4、 字符串类型5、 日期类型1)声明时间2)日期类型的运算 6、 布尔类型7、 枚举类型8、IP类型9、 JSON&JSONB类型10、 复合类型11、 数组类型 一、数据类型 详细查看:中文官方文档 二、对比MySQL 名字说明对比MySQL整数类型smallint(2字节),integer(4字节),bigint(8字节)无区别浮点类型decimal,numeric(和decimal是等效的),real(float),double precision(double),money(货币类型)MySQL不支持 货币类型字符类型varchar(n),char(n),text无区别日期/时间类型date(年月日),time(时分秒),timestamp(年月日时分秒)【time和timestamp可以设置时区】MySQL多了一个datetime布尔类型booleanMySQL中的tinyint类型与之对应,都是1字节枚举类型enum无区别几何类型点、线、圆、多边形、路径…MySQL不支持数组类型在类型后,追加[],代表存储数组MySQL不支持JSON类型文本 JSON 数据、二进制 JSON 数据jsonbMySQL8.x才支持等等其它不常用的… 三、基本操作 1、单引号和双引号 单引号:用来标识实际的值双引号:用来标识关键字 比如,下面的key会报错 2、数据类型转换 方式1:数据类型 值 在值的前面加上具体数据类型 -- 将字符串转成int4类型 select int '123'; 方式2:值 :: 数据类型 在值的后面加上具体数据类型,用::拼接 -- 将字符串转成date类型 select '2023-12-18'::date;' 方式3:使用CAST函数 CAST(当前类型 值 as 转后的类型) select CAST(varchar '123' as int); 3、数字类型 1)整数 有3个类型,如下: smallint、int2:2字节integer、int、int4:4字节bigint、int8:8字节 2)浮点数 浮点类型就关注2个,但两个基本等效 decimal(n,m):本质就是numeric,PGSQL会帮你转换numeric(n,m):PGSQL本质的浮点类型 针对浮点类型的数据,底层使用的是 numeric 3)序列 构建方式使用方式如下: -- 构建序列 create sequence forlanSchema.table_id_seq; -- 查询下一个值 select nextval('forlanSchema.

dataX3.0和datax-web部署实践踩坑记录(windows版)

今年公司需要上一个数据分析项目,在考察了一番(百度一番)之后决定上datax加上datax-web的方式来进行数据调度。 PS:写在前面,主要作用是为了自己以后再次(跳槽)部署而写下的记录。 持续更新中... ... 一、相关环境以及需要下载的配置 1、datax3.0 注意:这里的链接是指向的github的开发文档。下载dataX需要拉到下边的 或者这个链接。 https://datax-opensource.oss-cn-hangzhou.aliyuncs.com/202308/datax.tar.gz 2、jdk(jdk版本建议1.8.201以上) 这个版本我现在使用的是1.8.0.131目前暂时没有发现问题。等后期升级到1.8.0.301 这个是下载地址Java Downloads | Oracle有需要的自取 下载的时候拉到下边 然后点击 就直接下载了。(如果还不会就自己百度吧!) 下载完成之后点击安装然后一路next就可以了 注意如果需要安装在D盘什么的需要操作一下具体的自行百度。 参考文章:java8的下载与安装(网上教程的安装方法)_java8下载-CSDN博客 3、python (推荐python 2.7, python 3需要修改datax相关配置) 下载相对简单:百度找到python官网 然后进入之后 然后向下滑动找到对应的版本(因为dataX限制了使用2.X的版本,不过这个可以后续替换对应的文件来实现使用3.X版本) 或者使用这个链接https://www.python.org/ftp/python/2.7.9/python-2.7.9.amd64.msi 下载完成之后点击安装然后在path环境中配置一下 对应的环境变量就好 D:\Python27 4、mysql(本身对于版本的限制是5.7.X) MySQL :: Download MySQL Community Server 进去之后选择版本、选择、平台、选择系统位数。一系列选择完成之后点击下载msi版本 然后按照规则点就好了。下载完成之后点击安装 拿不准的可以参考这个文章https://www.cnblogs.com/kendoziyu/p/MySQL.html 至此针对于datax和datax-web的环境就已经安装好了 5、其他软件 针对上边环境配置完成之后我们还需要数据库的查询软件 在这儿我个人喜欢使用的是DBever 进去down下来就一路next就行了 二、数据库准备 1、数据库准备以及sql录入,系统表生成。 因为这个项目的数据库使用的是mysql,且它的数据也是存在本地的(理论上也可以存在远端)。所以我们需要将数据库配置一下。在这儿我们的datax-web开发者们在项目里留了对应的数据库文件我们把它拿出来。位置是在他们项目的bin目录下:\datax-web-master\bin\db 先创建一个datax_web的数据库然后 将文件拷贝出来放在我们刚才安装的dbever中一行一行执行就可以了。 以上全部执行完成之后我们就得到了这个这个web系统所需要的数据库支持。 三、解压相应的文件 1、datax 再刚才第一步中我们下载了datax的文件以及datax-web的文件。再将datax解压到D盘下。 2、datax-web 解压datax-web文件之后生成一个 文件夹这个文件夹是其项目开发的文件夹。在这个时候我们是不能直接使用的。切记 四、datax-web项目配置 官方原文档: https://github.com/WeiYe-Jing/datax-web/blob/master/userGuid.md 官方给出的开发环境部署: https://github.com/WeiYe-Jing/datax-web/files/5082018/datax-web.Debug.pdf 这是官方部署文档参考第三点,在此我进行一些简单说明。 这些地址必须和你本地的地址相对应。 在这些操作完成之后就可以试着在IDEA上边启动项目。(如果不行就去找找两个application文件是否配置错误) 五、windows使用环境部署&踩坑实录 对于这个项目在windows服务器上部署的时候我们需要将项目进行maven打包。并且java -jar

Android Studio 下载地址

一、Android Studio 下载地址及版本说明 1.Android 开发者官网:(1)Android Developers (全球,需科学上网) (2)https://developer.android.google.cn/index.html (国内,可直接访问) 2.Android Studio 国内下载地址: Download Android Studio and SDK tools | Android Developers 各个版本 https://developer.android.google.cn/studio/archive?hl=zh-cn

AIGC:阿里开源大模型通义千问部署与实战

1 引言 通义千问-7B(Qwen-7B)是阿里云研发的通义千问大模型系列的70亿参数规模的模型。Qwen-7B是基于Transformer的大语言模型, 在超大规模的预训练数据上进行训练得到。预训练数据类型多样,覆盖广泛,包括大量网络文本、专业书籍、代码等。同时,在Qwen-7B的基础上,我们使用对齐机制打造了基于大语言模型的AI助手Qwen-7B-Chat。相较于最初开源的Qwen-7B模型,我们现已将预训练模型和Chat模型更新到效果更优的版本。本仓库为Qwen-7B预训练模型的仓库。 体验地址:https://modelscope.cn/studios/qwen/Qwen-7B-Chat-Demo/summary 代码地址:https://github.com/QwenLM/Qwen 通义千问-7B(Qwen-7B)主要有以下特点: 大规模高质量训练语料:使用超过2.4万亿tokens的数据进行预训练,包含高质量中、英、多语言、代码、数学等数据,涵盖通用及专业领域的训练语料。通过大量对比实验对预训练语料分布进行了优化。强大的性能:Qwen-7B在多个中英文下游评测任务上(涵盖常识推理、代码、数学、翻译等),效果显著超越现有的相近规模开源模型,甚至在部分指标上相比更大尺寸模型也有较强竞争力。具体评测结果请详见下文。覆盖更全面的词表:相比目前以中英词表为主的开源模型,Qwen-7B使用了约15万大小的词表。该词表对多语言更加友好,方便用户在不扩展词表的情况下对部分语种进行能力增强和扩展。 2 通义千问介绍 2.1 介绍 我们开源了Qwen(通义千问)系列工作,当前开源模型的参数规模为18亿(1.8B)、70亿(7B)、140亿(14B)和720亿(72B)。本次开源包括基础模型Qwen,即Qwen-1.8B、Qwen-7B、Qwen-14B、Qwen-72B,以及对话模型Qwen-Chat,即Qwen-1.8B-Chat、Qwen-7B-Chat、Qwen-14B-Chat和Qwen-72B-Chat。模型链接在表格中,请点击了解详情。同时,我们公开了我们的技术报告,请点击上方论文链接查看。 当前基础模型已经稳定训练了大规模高质量且多样化的数据,覆盖多语言(当前以中文和英文为主),总量高达3万亿token。在相关基准评测中,Qwen系列模型拿出非常有竞争力的表现,显著超出同规模模型并紧追一系列最强的闭源模型。此外,我们利用SFT和RLHF技术实现对齐,从基座模型训练得到对话模型。Qwen-Chat具备聊天、文字创作、摘要、信息抽取、翻译等能力,同时还具备一定的代码生成和简单数学推理的能力。在此基础上,我们针对LLM对接外部系统等方面针对性地做了优化,当前具备较强的工具调用能力,以及最近备受关注的Code Interpreter的能力和扮演Agent的能力。我们将各个大小模型的特点列到了下表。 在这个项目中,你可以了解到以下内容 快速上手Qwen-Chat教程,玩转大模型推理量化模型相关细节,包括GPTQ和KV cache量化推理性能数据,包括推理速度和显存占用微调的教程,帮你实现全参数微调、LoRA以及Q-LoRA部署教程,以vLLM和FastChat为例搭建Demo的方法,包括WebUI和CLI Demo搭建API的方法,我们提供的示例为OpenAI风格的API更多关于Qwen在工具调用、Code Interpreter、Agent方面的内容长序列理解能力及评测使用协议 2.2 新闻 2023.11.30 🔥 我们推出 Qwen-72B 和 Qwen-72B-Chat,它们在 3T tokens上进行训练,并支持 32k 上下文。同时也发布了 Qwen-1.8B 和 Qwen-1.8B-Chat。我们还增强了 Qwen-72B-Chat 和 Qwen-1.8B-Chat 的系统指令(System Prompt)功能,请参阅示例文档。此外,我们还对昇腾910以及海光DCU实现了推理的支持,详情请查看ascend-support及dcu-support文件夹。2023年10月17日 我们推出了Int8量化模型Qwen-7B-Chat-Int8和Qwen-14B-Chat-Int8。2023年9月25日 在魔搭社区(ModelScope)和Hugging Face推出Qwen-14B和Qwen-14B-Chat模型,并开源 qwen.cpp 和 Qwen-Agent。Qwen-7B和Qwen-7B-Chat的代码和模型也同步得到更新。请使用最新的代码和模型! 相比原版Qwen-7B,新版用了更多训练数据(从2.2T增加到2.4T tokens),序列长度从2048扩展至8192。整体中文能力以及代码能力均有所提升。2023年9月12日 支持Qwen-7B和Qwen-7B-Chat的微调,其中包括全参数微调、LoRA以及Q-LoRA。2023年8月21日 发布Qwen-7B-Chat的Int4量化模型,Qwen-7B-Chat-Int4。该模型显存占用低,推理速度相比半精度模型显著提升,在基准评测上效果损失较小。2023年8月3日 在魔搭社区(ModelScope)和Hugging Face同步推出Qwen-7B和Qwen-7B-Chat模型。同时,我们发布了技术备忘录,介绍了相关的训练细节和模型表现。 2.3 评测表现 Qwen系列模型相比同规模模型均实现了效果的显著提升。我们评测的数据集包括MMLU、C-Eval、 GSM8K、 MATH、HumanEval、MBPP、BBH等数据集,考察的能力包括自然语言理解、知识、数学计算和推理、代码生成、逻辑推理等。Qwen-72B在所有任务上均超越了LLaMA2-70B的性能,同时在10项任务中的7项任务中超越GPT-3.5. ModelMMLUC-EvalGSM8KMATHHumanEvalMBPPBBHCMMLU5-shot5-shot8-shot4-shot0-shot3-shot3-shot5-shotLLaMA2-7B46.832.516.73.312.820.838.231.8LLaMA2-13B55.041.429.65.018.930.345.638.4LLaMA2-34B62.6-42.26.222.633.044.1-ChatGLM2-6B47.951.732.46.5--33.7-InternLM-7B51.053.431.26.310.414.037.051.8InternLM-20B62.158.852.67.925.635.652.559.0Baichuan2-7B54.756.324.65.618.324.241.657.1Baichuan2-13B59.559.052.810.117.130.249.062.0Yi-34B76.381.867.915.926.238.266.482.6XVERSE-65B70.868.660.3-26.3---Qwen-1.8B45.356.132.32.315.214.222.352.1Qwen-7B58.263.551.711.629.931.645.062.2Qwen-14B66.372.161.324.832.340.853.471.0Qwen-72B77.483.378.935.235.452.267.783.6 对于以上所有对比模型,我们列出了其官方汇报结果与OpenCompass结果之间的最佳分数。 更多的实验结果和细节请查看我们的技术备忘录。点击这里。 2.4 推理性能 这一部分将介绍模型推理的速度和显存占用的相关数据。下文的性能测算使用 此脚本 完成。 我们测算了BF16、Int8和Int4模型在生成2048个token时的平均推理速度(tokens/s)和显存使用。结果如下所示: Model SizeQuantizationSpeed (Tokens/s)GPU Memory Usage1.

【学习笔记】LeetCode SQL刷题(高频50基础版+进阶版)

一、高频SQL50题(基础版) 题目考查类型题号查询1-5连接6-14聚合函数15-22排序和分组23-29高级查询和连接30-36子查询37-43高级字符串函数 / 正则表达式 / 子句44-50 1757. 可回收且低脂的产品 SELECT product_id FROM Products WHERE low_fats='Y' and recyclable='Y'; 584. 寻找用户推荐人 select name from Customer where referee_id != 2 or referee_id is null 595. 大的国家 select name,population,area from World where area>=3000000 or population>=25000000 1148. 文章浏览 I select distinct author_id as id from Views where author_id=viewer_id order by id 1683. 无效的推文 select tweet_id from Tweets where length(content)>15 1378. 使用唯一标识码替换员工ID select unique_id,name from Employees left join EmployeeUNI on EmployeeUNI.

VSCode中的AI工具

GitHub Copilot扩展是一个AI配对程序员工具,可以帮助您更快,更智能地编写代码。你可以使用VS Code中的Copilot扩展来生成代码,从它生成的代码中学习,甚至配置你的编辑器。 先决条件 你将使用GitHub Copilot扩展来支持VS Code中的人工智能(AI)建议。 要使用GitHub Copilot,您需要一个活跃的GitHub Copilot订阅。在下面的内容中,您将了解VS Code如何帮助您直接从VS Code激活免费试用版。您也可以从GitHub Copilot注册页面开始激活您的试用。 登录并注册 如果你之前没有在你的GitHub账户中授权VS Code,你会被提示在VS Code中登录GitHub: 在浏览器中,GitHub将为GitHub Copilot请求必要的权限。要批准这些权限,请选择“授权Visual Studio代码”。 激活免费试用版 如果你还没有激活你的免费试用副驾驶,扩展将通知你在VS Code。选择注册GitHub Copilot来激活您的试用版。 您可以在GitHub Copilot文档中了解更多关于Copilot计费的信息。 使用副驾驶员 现在您已经注册了副驾驶并激活了扩展,让我们看看它在行动中的帮助! GitHub Copilot为许多语言和各种框架提供建议,它特别适用于Python, JavaScript, TypeScript, Ruby, Go, c#和C。 内联的建议 Copilot自动提供建议,以帮助您更有效地编写代码。利用这些建议只需3个步骤: 开始编写代码(或与代码相关的项目,如注释或测试)。 Copilot为各种语言和框架提供建议。对于任何给定的输入,副驾驶可能会提供多种建议。您可以选择使用哪个建议或拒绝所有建议。 收到灰色鬼影(褪色)文本的副驾驶建议。 幽灵文本是占位符文本,将被您从副驾驶中输入或选择的输入所替换。 例如,在一个JavaScript文件中,你可以输入下面的函数头: function calculateDaysBetweenDates(begin, end) { 副驾驶将提供如下建议: 选择接受副驾驶的建议。 对于任何给定的输入,副驾驶可能会提供多种建议。当Copilot提供建议时,您可以使用Tab键接受建议,或者将鼠标悬停在建议上以查看内联建议工具栏: 在上图中,副驾驶提出了三条建议。您可以使用Tab键接受整个建议,也可以使用Ctrl右划接受部分建议。您可以在建议工具栏中切换建议,也可以使用键盘快捷键“ctrl]”。 如果您不想接受任何建议,您可以继续输入,并且Copilot将在您工作时继续提供建议。 充分发挥副驾驶的作用 你可以做一些事情来帮助(“提示”)副驾驶给你最好的建议。好消息是,您现在可能已经在这样做了,因为它们可以帮助您和您的同事理解您的代码。 当副驾驶有足够的背景来了解你在做什么以及你需要什么帮助时,副驾驶的建议最有效。就像你在向同事寻求特定编程任务的帮助时向他提供背景一样,你也可以在Copilot上做同样的事情。 注意:“提示工程”是你在讨论AI时经常听到的一个短语,它指的是如何以及哪些信息被打包并发送到AI API端点。Copilot扩展为您做这个“提示工程”,但您可以通过提供提示来指导扩展。 提供上下文 打开的文件 Copilot查看编辑器中当前和打开的文件,以分析上下文并创建适当的建议。在使用Copilot时在VS Code中打开相关文件有助于设置此上下文,并让Copilot看到项目的更大画面。 顶层评论 就像你会给同事一个简短的、高层次的介绍一样,你正在处理的文件中的高层注释可以帮助Copilot理解你将要创建的部分的整体背景。 适当的内容和参考 最好手动设置工作所需的包含或模块引用。副驾驶可以提出建议,但你可能最清楚你需要包括哪些依赖项。这也可以让Copilot知道你在提出建议时希望使用哪些框架、库及其版本。 有意义的函数名 正如一个名为 fetchData() 的方法对同事(或几个月后的你)没有多大意义一样, fetchData() 对副驾驶也没有帮助。使用有意义的函数名将有助于Copilot提供一个能做你想做的事情的主体。

毕业设计-基于深度学习的水面漂浮物目标检测算法系统 YOLO python 卷积神经网络 人工智能

目录 前言 设计思路 一、课题背景与意义 二、算法理论原理 2.1 Faster RCNN 2.2 YOLOv5算法 三、检测的实现 3.1 数据集 3.2 实验环境搭建 3.3 实验及结果分析 实现效果图样例 最后 前言 📅大四是整个大学期间最忙碌的时光,一边要忙着备考或实习为毕业后面临的就业升学做准备,一边要为毕业设计耗费大量精力。近几年各个学校要求的毕设项目越来越难,有不少课题是研究生级别难度的,对本科同学来说是充满挑战。为帮助大家顺利通过和节省时间与精力投入到更重要的就业和考试中去,学长分享优质的选题经验和毕设项目与技术思路。 🚀对毕设有任何疑问都可以问学长哦! 选题指导: 最新最全计算机专业毕设选题精选推荐汇总 大家好,这里是海浪学长毕设专题,本次分享的课题是 🎯基于深度学习的水面漂浮物目标检测算法系统 设计思路 一、课题背景与意义 目前国内对水面漂浮物的处理主要采用人工打捞或者机械清理等方式。传统清理方式需要大量人力,清理效率低下。而且由于水面漂浮物分布范围广,很难被管理人员及时发现并处理,所以亟需研究一种智能化的水面漂浮物检测系统。 二、算法理论原理 2.1 Faster RCNN 两阶段目标检测算法将目标检测分成两步:第一步利用卷积神经网络完成对特征的提取并生成相应的候选区域,第二步完成对候选区域进行分类和位置回归。目前两阶段目标检测算法主要为RCNN系列检测算法,而Faster RCNN是RCNN系列中较为经典的检测网络。 2.2 YOLOv5算法 YOLOv5其图像推理速度最快达0.007s,即每秒可处理140帧,满足对视频流的在线检测,主要分为输入端、主干网络、颈部网络和预测网络。 YOLOv5通过自适应缩放统一输入尺寸,接着将图片划分为S×S网格,然后通过网络中的卷积层、归一化、激活函数的计算获得大小分别为76×76、38×38和19×19的三个尺度特征,然后通过特征融合和通用检测层预测出图像中包含的检测框及类别,最后采用非极大值抑制算法(NMS)去掉冗余框,保留阈值较高检测框作为边界框回归的结果。 相关代码: target_images = np.random.choice(image_list, size=3, replace=False) target_bboxes = get_bboxes(target_images) target_images_resized = resize_images(target_images, mosaic_size) target_image = target_images_resized[0] target_bbox = target_bboxes[0] # 在背景图像上随机选择一个位置进行融合 x, y = random_position(background_image, target_image) # 将目标图像融合到背景图像上 mosaic_image = mosaic(background_image, target_image, x, y) # 更新边界框的位置 target_bbox = update_bbox_position(target_bbox, x, y) # 将融合后的图像和边界框添加到原始图像和边界框列表中 augmented_image = np.

【AIGC重塑教育】AI大模型驱动的教育变革与实践

文章目录 🍔现状🛸解决方法✨为什么要使用ai🎆彩蛋 🍔现状 AI正迅猛地改变着我们的生活。根据高盛发布的一份报告,AI有可能取代3亿个全职工作岗位,影响全球18%的工作岗位。在欧美,或许四分之一的工作可以用AI完成。另一份Statista的报告预测,仅2023年,AI就将创造230万个工作岗位,同时消除180万个工作岗位。 教育领域不可避免地受到AI的影响。国际象棋领域有句名言:“唯有与智者博弈,才能提高。”这也恰好反映了教育的核心:与优秀者互动、交流和学习,才能提升自我。AI作为难以否认的智者,有潜力成为我们的最佳教师。AI能提供个性化学习方案,有无限的耐心,可帮助学生战胜困难,实现自我提升。这正是教育追求的目标,也是普通教师难以实现的。例如,国际象棋领域已经有许多基于AI的教练系统,如Chess、Lichess、Chessable等。这些系统可以根据每个学生的水平、进步和偏好,提供定制化的训练计划、反馈和建议。它们还可以模拟不同风格和水平的对手,让学生在实战中提高自己的水平。这些系统不仅可以帮助初学者入门,也可以帮助高手进阶,这在以往是不可想象的。 在AI时代,重复性工作削减,这对教育来说意义重大。AI可能严重影响某些行业,譬如翻译将面临巨大挑战。随着谷歌翻译器、百度翻译器等在线翻译服务的发展,人类翻译员将越来越难以与机器竞争。根据一项研究,谷歌翻译器在英语和法语之间的翻译质量已经达到人类水平。人们逐渐意识到,重复性工作可由机器完成,应将精力投入到创新、思考和学习之中,提升自己的独特价值。因此,教育应更注重培养创造力,而非让学生仅服从规则。善于独立思考、敢于突破的人才能在多元化、快速变化的世界中立足。 显然,在AI的影响下,教育工作者应注重培养学生的创造力和独立思考能力,帮助学生树立正确的价值观。库克曾说:“我并不担心AI让计算机像人类一样思考,而是担心人类像计算机一样思考。”这将使我们在AI时代被机器取代。例如,在艺术领域,生成式AI已经能够生成令人惊叹的作品,如DALL·E的图像生成、OpenAI的文本生成、Magenta的音乐生成等。这些作品虽然具有高度的技术性和创造性,但缺乏人类的情感和创造力。因此,教育工作者应该鼓励学生发挥想象力,创造出有意义和有影响力的作品。 京东购买链接:https://item.jd.com/13905383.html#none 希望通过《AIGC重塑教育:AI大模型驱动的教育变革与实践》这本书,家长能深入理解并掌握在AI时代帮助孩子学习的策略,确保他们能够积极面对AI带来的机遇和挑战,同时避免其潜在的风险。只有全社会共同参与,我们才能充分挖掘AI的潜力,构建一个更加美好的教育环境。 🛸解决方法 那么,有了AI,是否就不再需要专门的教育工作者了呢?是否意味着教育应该消失了呢?事实并非如此。教育的目的、方式和评估将发生巨大变化,但教育本身不会消失。 教育是一项历史悠久的活动,每当新技术出现时,总有人担忧教育工作者的意义。以大学教育为例,尽管广播、电视和互联网的出现都曾让人们质疑大学教育的必要性,但事实上大学教育依然存在,并不断适应着社会环境与发展趋势。因此,当GPT(Generative Pre-trained Transformer,生成式预训练)模型出现时,我们不能简单地认为大学将消亡。相反,教育将变得更公平,知识获取变得更容易。例如,在线教育平台如Coursera、edX、Udemy等提供了丰富的课程资源,让人们可以随时随地学习自己感兴趣或者需要的知识。这些平台不仅降低了学习成本和门槛,也扩大了学习范围和学习深度。通过这些平台,人们可以接触到来自世界各地、各个领域的优秀教师和专家,获得最新、最前沿的知识和技能。 在这个变革过程中,教师将不再仅仅是知识的传递者,而需承担更多角色。他们将成为学生的引导者、辅导员和心灵导师,帮助学生在信息洪流中保持清晰的思维,更好地理解世界,找到自己的兴趣和价值。例如,在MOOC(Massive Open Online Courses,大规模开放在线课程)中,教师不仅要设计有趣、有效的课程内容和活动,还要激发学生的学习兴趣和参与热情。教师还要通过在线论坛、视频会议、小组项目等方式,与学生交流、互动,解答他们的疑问和困惑,给予他们反馈和建议。此外,教师还要关注学生的心理和情感状态,帮助他们克服学习中的障碍,培养他们的自信心和自主学习能力。 教育将更加综合,注重培养学生的创造力、批判性思维和沟通能力。课堂也将从传统的授课方式转变为更加互动的学习环境,让学生充分参与讨论和实践,提高学习兴趣和效果。在STEM(科学、技术、工程、数学)教育中,AI可以提供更多的模拟和实验场景,让学生可以通过动手操作、探索发现、试错反馈等方式,学习基本的概念和原理。AI还可以提供更多的协作和竞争机会,让学生可以通过团队合作、项目制作、比赛评选等方式,锻炼自己的创造力、批判性思维和沟通能力。 同时,教育将不再局限于学校和课堂,而是融入生活的各个方面。随着AI技术的普及,我们可以随时随地获得知识。教育将更注重培养自主学习能力,让我们在快速发展的世界中保持竞争力。在日常生活中,我们可以通过智能手机、智能音箱、智能眼镜等设备,与AI进行语音或者图像交互,获取我们需要或者感兴趣的信息。我们还可以通过AI来管理自己的时间、任务、健康等,提高效率和生活品质。在工作中,我们可以通过AI来协助完成一些复杂或者重复的工作,提高工作的准确性和效率。我们还可以通过AI来获取最新、最相关的知识和技能,提高专业性和竞争力。 ✨为什么要使用ai AI将有助于解决教育资源不平衡问题,让更多人享受到优质教育。借助AI技术,我们可以打破地理和语言障碍,让知识和资源在全球范围内自由流动。这将提高全球教育水平,减少教育不平等现象,让更多人获得更好的发展机会。在发展中国家或者偏远地区,由于缺乏合格的教师和设施,很多孩子无法接受基础教育或者高质量教育。通过AI技术,我们可以为这些孩子提供远程教育或者智能辅导,让他们可以接触到优秀的教师和内容,并且根据自己的进度和水平进行个性化学习。AI提供的多语言翻译或者语音识别等功能,还可以让他们跨越语言障碍,与来自不同国家或者具有不同文化背景的人进行交流、合作。 在AI不断渗透到各行各业的时代,教育领域也正在经历一场变革。这不仅重塑了学习者的学习方式,也改变了家长和教育工作者的角色。本书就是在这样的大背景下应运而生的,试图解答一个关键问题:如何在AI浪潮中找到最佳教育策略,保障孩子们在未来社会的竞争力? 我坚信,家长的理解、接纳与参与是孩子们顺利适应AI时代不可或缺的一环。AI可能会让许多人感到不安或恐惧,但通过深入了解其运作机制和可能的影响,相信我们可以将恐惧转化为力量。为此,本书详细解析了AI在教育中的具体应用,以及AI对学习方式的深远影响。 未来的教育中,家长将从传统的孩子和学校的桥梁角色,转变为孩子学习的合作伙伴。家长们需要以新的眼光看待教育,视其为一个终身的、无处不在的过程,并把AI视作这个过程中的重要辅助工具。 🎆彩蛋 ⭐ 《AIGC重塑教育:AI大模型驱动的教育变革与实践》免费包邮送2 ~ 3本! ⭐活动时间:截止到 2023-12-25 20:00:00 ⭐ 抽奖方式:利用程序进行抽奖。 ⭐参与方式:关注博主、点赞、收藏、评论区进行高质量评论(不少于10个字),即可参加抽奖活动 ⭐本次活动一共赠2 ~ 3本,评论区抽取2~ 3位小伙伴免费送出!

14款炫酷好玩的前端特效代码分享(附在线演示效果)

分享14款非常不错炫酷的前端特效源码 其中包含css动画特效、js原生特效、svg特效等 下面我会给出特效样式图或演示效果图 但你也可以点击在线预览查看源码的最终展示效果及下载源码资源 可变主题切换效果 一款可变主题的切换特效 你既可以点击右上角图标进行主题的切换 同时也可以点击按钮及某个主题区域进行主题的切换 最终具体特效可点击在线预览进行查看 在线预览 CSS齿形切换开关动画 非常有创意性的一款纯css实现的齿形切换开关特效 可用于一些博客中一些有趣性的展示区 最终具体特效可点击在线预览进行查看 在线预览 数码管时钟特效 数码管时钟特效 是一款切换时钟特效 点击下方红点 会显示当前的具体时间 从上往下依次代表的是时、分、月、日、年等 最终具体特效可点击在线预览进行查看 在线预览 css滑动显示特效 css滑动显示特效 当鼠标移入某格时 会显示当前格的内容 鼠标移出时会显示模糊的星点 最终具体特效可点击在线预览进行查看 在线预览 css心跳监控器特效 使用 CSS 剪辑路径属性创建检测信号 计算机心跳监视器动画 最终具体特效可点击在线预览进行查看 在线预览 canvas四面体粒子动画特效 canvas实现的一款粒子动画特效 球体中会出现烟花燃放的动画和球体爆炸的特效 最终具体特效可点击在线预览进行查看 在线预览 类星体探险家 canvas实现的一款炫酷背景特效 最终具体特效可点击在线预览进行查看 在线预览 svg多边形路径动画特效 svg多边形路径动画特效 多边形中的点 会绕着线条路径进行循环的运动 同时上方还有一个控制速度的滑块 可以用来调节运动的快慢 最终具体特效可点击在线预览进行查看 在线预览 霓虹灯按钮拨动特效 SVG CSS霓虹灯拨动开关,当你激活时 开关将被一个霓虹轮廓包围 最终具体特效可点击在线预览进行查看 在线预览 css闪亮的动画边框渐变特效 css闪亮的动画边框渐变特效 最终具体特效可点击在线预览进行查看 在线预览 js拖拽切换选项卡 js拖拽切换选项卡 你可以通过拖拽的方式随意切换选项卡的位置 最终具体特效可点击在线预览进行查看 在线预览

如何在Windows中的Rabbitmq如何启动

1.如何在Windows中的Rabbitmq如何启动 1、进入rabbitmq的sbin目录,输入CMD,然后按下enter(回车键) 2、在命令窗口中输入: rabbitmq-plugins enable rabbitmq_management 启用管理服务。 3、在命令窗口中输入: rabbitmqctl start_app 启动服务。 查看是否启动成功 如果不行的话 就试试 进入rabbitmq的sbin目录,进入CMD 在命令提示符里输入:Rabbitmq-server 启动 出现这样的页面就证明启动成功了! 1、浏览器访问http://localhost:15672/ 输入账号:guest(你的账号),密码:guest(你的密码) 点击登录 停止服务的命令: Rabbitmq-service stop 这样就成功了! 2.如何在java中使用Rabbitmq呢? 1.先添加依赖 <!--AMQP依赖,包含RabbitMQ--> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-amqp</artifactId> </dependency> 2.消息生成队列 生成消息队列方法一: import com.rabbitmq.client.Channel; import com.rabbitmq.client.Connection; import com.rabbitmq.client.ConnectionFactory; import org.junit.Test; import java.io.IOException; import java.util.concurrent.TimeoutException; /** * 消息队列原生的生成方法 */ public class PublisherTest { @Test public void testSendMessage() throws IOException, TimeoutException { // 1.建立连接 ConnectionFactory factory = new ConnectionFactory(); // 1.

Hadoop集群中如何通过web访问HDFS(以及上传下载测试)

如何通过Web查看hadoop的运行状态 一共有几小部分组成,但是前提你得先在集群系统的hosts文件中添加集群IP映射不难,上操作 首先得关闭虚拟机(hadoop集群)的防火墙,以下是代码,直接复制粘贴即可 systemctl stop firewalld //关闭防火墙 systemctl disable firewalld //禁止开机自启动 其次就是IP映射以及查看本机ip地址,我这里使用的是集群1中的ip进行演示 如何配置ip映射? vi /etc/hosts //进入文件后按i编辑,在最后另起一行写入你需要映射的IP地址 如何在etc/sysconfig/network-scripts/ifcfg-ens33中编辑IP?进入文件后按照如图红色/黄色画线进行添加,最后对所有代码进行检查 vi /etc/sysconfig/network-scripts/ifcfg-ens33 修改后别忘记重启网卡 nmcli c reload //重新加载配置文件 nmcli c up ens33 //重新启动ens33网卡 查看IP地址 ip add //或者 fconfig 也可以 在输入命令后,在下方找到inet,后面的就是你的ip地址 最后一步,也是最重要的一步来啦 在计算机浏览器中输入http://<刚刚查询到自己的IP>:8088/cluster 和http://<自己IP>:50070/dfshealth.html#tab-overview 如果我的: http://192.168.000.000:8088/cluster http://192.168.000.000:50070/dfshealth.html#tab-overview 如何进行上传下载测试 如何上传? 首先我们手动设置 Hadoop 环境变量,具体方法如下 在Hadoop的安装目录下修改环境变量 vi ~/.bashrc 在打开的文件末尾添加 export HADOOP_HOME=/usr/local/hadoop export PATH=$PATH:$HADOOP_HOME/bin 其中/usr/local/hadoop是你自己的hadoop安装路径,列如我的是 /export/servers/wfb-hadoop/hadoop-2.7.4,那就替换我自己的路径即可,害怕出错的可以参考一下图片 保存并退出文件。然后执行以下命令使配置生效 source ~/.bashrc 然后尝试使用 hdfs 命令上传文件在hadoop目录下的bin目录里运行 hdfs dfs -put <自己需要上传的文件的地址> /path/to/hdfs/directory/ ** 如果在上传过程中出现“ls: `.

【密码学】使用mkcert安装CA、自签名ssl证书,配置nginx的https 证书笔记

文章目录 证书(CA证书,服务端证书,客户端证书)1 安装CA1.1 下载mkcert1.2 mkcert安装和配置根证书1.3设备安装根证书 2 自签名ssl证书2.1 CA 证书过程:2.2 自签名流程2.3签发证书2.4给已有的证书请求(.csr)签发证书参考文献 3 配置nginx的https3.1 查看NGINX是否安装SSL模块3.2 配置config文件 证书(CA证书,服务端证书,客户端证书) 1 安装CA CA(Certificate Authority,证书授权)是由认证机构服务者签发,是数字签名的技术基础保障,也是网上实体身份的证明,能够证明某一实体的身份及其公钥的合法性,证明该实体与公钥二者之间的匹配关系。 在电子商务系统中,所有实体的证书都是由证书授权中心即CA中心颁发并签名的。一个完整的、安全的电子商务系统必须建立一个完整的、合理的CA体系。CA体系由证书审批部门和证书操作部门组成。 1.1 下载mkcert mkcert 工具 https://gitee.com/stonedst/mkcert $ mkcert -install Created a new local CA 💥 The local CA is now installed in the system trust store! ⚡️ The local CA is now installed in the Firefox trust store (requires browser restart)! 🦊 1.2 mkcert安装和配置根证书 首先到github下载mkcert工具,下面我以windows平台作为演示 在cmd中cd到mkcert所在的目录运行下面的命令 .\mkcert.exe -install 这条命令会创建一组根证书和私钥,根证书会被安装到系统中。输入下面的命令就可以查看到ca证书存放的位置。其中“rootCA.pem“就是根证书,有些系统比如windows可能不会认rootCA.pem可以把他改成rootCA.crt。将他发送给需要安装的自定义证书的设备,安装好之后自签名证书就不会显示不安全了。另外rootCA-key.pem是根证书的私钥文件,不可公开需要妥善保管。 .\mkcert.exe -CAROOT 1.

如何解决idea创建版本时只有Java21和Java17选项

idea如果版本高了就会出现在创建Springboot项目时只有Java21和Java17选项 选择jdk1.8的时候很可能出现下图报错,这是因为版本jdk1.8与Java17不兼容 解决办法一般有三种,这里列举两种 1、替换下载数据源 可以将https://start.spring.io/ 替换成 https://start.aliyun.com/阿里云的下载地址 2、直接根据Java21或者Java17创建项目 创建项目后,将pom.xml文件里面的版本改成Java8

前端vue上传时获取文件的md5哈希值

项目有一个新的需求,上传文件之前先获取文件hash值传给后端进行校验,看看文件是否已经上传识别过,避免重复上传识别资源浪费..前端采用的vue3+vite.以下是实现方式.(vue2应该同样适用) 使用spark-md5组件 npm install spark-md5 --save 引入组件使用 import SparkMD5 from "spark-md5"; 使用组件进行计算哈希值 //以下获取文件哈希值方法 var fileReader = new FileReader(); var spark = new SparkMD5.ArrayBuffer(); // 获取文件二进制数据 fileReader.readAsArrayBuffer(file); fileReader.onload =(e: any)=>{ spark.append(e.target.result); var fileHash = spark.end(); console.log(fileHash,"文件哈希值"); }; // 页面上传中的代码,我是用的element的上传组件的方法

[LLM]Streamlit+LLM(大型语言模型)创建实用且强大的Web聊天机器人

Streamlit 和 Streamlit_chat Streamlit 是一个开源框架,使开发人员能够快速构建和共享用于机器学习和数据科学项目的交互式 Web 应用程序。它还提供了一系列小部件,只需要一行 Python 代码即可创建,例如st.table(…)。对于我们创建一个简单的用于私人使用的聊天机器人网站来说,Streamlit 是一个非常合适的库,它还提供了第三方 Streamlit_chat 库,进一步方便我们生成“聊天式” Web 应用程序,因为我们不需要写大量的 HTML 元素和 CSS 内容。 Streamlit是时下比较热门的一个基于Python的Web应用程序框架,它可以在几分钟内将数据转化为可共享的Web应用程序,无需前端开发经验,使用纯Python代码实现,简单且高效。 ChatGPT(LLM)是目前非常火的OpenAI公司开发的聊天机器人模型,它无所不知就像一本大百科全书,它可以帮你做很多繁杂的日常工作,比如可以代你写文章,代你做excel表格,甚至代你写代码。今天我们要将两者结合起来开发一个基于web的应用聊天小程序。 我们需要在python环境中安装openai和streamlit的第三方python包,可以通过在命令行窗口中安装这些包: pip install openai pip install streamlit pip install streamlit_chat 聊天机器人接口参数说明 model: 模型名词 prompt:对机器人提出的问题 temperature:温度参数,该参数控制生成文本的随机性级别。较高的温度参数会导致更多变化且可能不太连贯的响应,而较低的t温度参数会产生更可预测且可能更连贯的响应。 max_tokens:应答语句的长度 创建聊天Python代码文件 我们需要创建一个用于聊天的streamlit的代码文件 chat_bot.py # chat_bot.py import openai import streamlit as st from streamlit_chat import message # 申请的api_key # openai.api_key = "xxxxxxxxxxxxxxxxx" # 使用本地llama_cpp_python启动了下local LLM API openai.api_base = "http://localhost:8000/v1" # point to the local server openai.