首发公众号网络研究观，关注获取最新内容。 数据是人工智能 (AI) 的命脉，为各个领域的人工智能提供动力。 人工智能的有效性取决于可用数据集的广度和深度，这对于算法学习、识别模式、预测结果和推动决策至关重要。保护这些数据集作为虚拟私有云 (VPC) 中的专有资产对于组织来说仍然至关重要。 虽然大型语言模型 (LLM) 等技术进步通过大量预训练减少了对标记数据的依赖，但管理和优化专有数据仍然至关重要。将 AI 解决方案直接与组织数据源集成是一种日益增长的趋势，旨在增强安全性和治理 有效的数据准备是最大限度地发挥 AI 潜力的关键。企业可以采取几个步骤来优化其 AI 应用程序的数据处理流程。 数据在人工智能发展中的作用 通常，组织从内部来源（例如客户数据库、日志和交易系统）获取和收集数据。外部来源（包括公共数据集、网络抓取和数据购买）也很常用。创建智能模型需要管道来从各种来源提取、转换和加载数据，这是长期 AI 成功的关键基础要素。 确保这些数据的质量是下一个关键步骤。 数据验证、数据清理和数据分析等质量保证流程在这里发挥作用。为这些流程实施自动化工具可以显著提高效率和准确性。长期保持数据质量需要强大的数据治理政策、监控流程和自动化数据测试。这些措施有助于组织保持高标准的数据完整性。 然后，必须通过全面的数据清理和预处理来为 AI 训练做好数据准备，以消除噪音、处理缺失值、标准化格式并将数据转换为适合有效 AI 训练的格式。 异常值检测、归因、规范化和特征工程是此过程中的基本技术。 不幸的是，尽管做好了这些准备，组织在处理 AI 项目的数据时仍可能面临重大挑战。最突出的问题包括数据稀缺、数据质量差、数据隐私问题、数据孤岛和法规遵从性。此外，整合各种数据源以及管理数据基础设施的可扩展性和复杂性可能是一项艰巨的任务。 数据偏见是组织在 AI 模型中使用数据时必须解决的另一个关键因素。 解决这些问题需要采取多方面的方法，将技术解决方案和组织政策结合起来。算法公平性、匿名化和加密等隐私保护技术以及道德准则都是必不可少的组成部分。 让多元化的人群参与决策过程并定期审核人工智能系统是否存在偏见和道德影响也是关键步骤。 预计未来五到十年，数据在人工智能中的作用将发生重大变化。随着人工智能扩展到更多领域，数据将变得更加关键。人们将更加关注合成数据生成、持续学习系统、联合学习和可扩展数据管理平台，以处理不断增长的数据量。 数据治理、透明度和问责制也将变得更加重要，以解决对数据隐私和道德的担忧。 如果组织计划将数据用于 AI 计划，则应专注于为其数据基础设施构建坚实的基础。投资于质量和治理实践、创建数据素养和协作文化以及随时了解新兴技术和监管要求对于为 AI 开发创造稳健的环境至关重要。 将人工智能解决方案引入数据源 组织正在探索如何将人工智能融入其数据，而不是将专有数据上传给人工智能提供商，这种转变已经发生。这种转变反映了人们对数据隐私日益增长的担忧以及对保持对专有信息控制的渴望。 企业领导者认为，通过将数据保留在内部，他们可以更好地管理安全和隐私，同时仍能从人工智能的进步中受益。 将 AI 解决方案直接引入组织的数据，无需移动大量数据，从而降低安全风险并保持数据完整性。至关重要的是，组织可以通过在自己的基础设施内实施 AI 解决方案来严格控制数据，以确保敏感信息得到保护并符合隐私法规。 此外，将数据保存在内部可最大限度地降低与数据泄露和第三方未经授权访问相关的风险，让组织及其客户都安心无忧。 先进的人工智能驱动数据管理工具为企业提供此解决方案，自动执行数据清理、验证和转换流程，以确保人工智能训练的高质量数据。这可以生成更准确的人工智能模型，从而提供更好的洞察和预测。 将 AI 解决方案嵌入数据基础设施还可以通过持续监控和实时分析带来好处，可以立即检测异常和潜在的安全威胁，让公司迅速采取行动以降低风险。实时洞察还有助于保持数据的持续健康，使其保持准确和可靠。 将 AI 解决方案集成到现有数据框架中还可以实现可扩展性和灵活性，使组织能够随着数据的增长扩展其 AI 功能，而无需担心外部数据传输的限制和漏洞。这种无缝集成支持长期 AI 开发和适应新技术进步，同时应对当前的挑战。 最终，采取这些步骤将 AI 解决方案集成到其数据基础设施中意味着企业可以实现长期的 AI 发展和对新技术的适应性，同时解决当前的挑战并保持对其宝贵数据资产的控制。

针对前端重复发起相同请求的解决方案： 注意： Redis保证了在相同key的情况下，只会保留一条数据，这就保证了多次请求只会消费一条数据。 并且需要注意的是，生成/获取token和携带token发送请求的过程需要是两个不同的过程。

【C语言】 —— 预处理详解（上） 一、预定义符号二、# d e f i n e define define 定义常量（符号）三、# d e f i n e define define 定义宏四、带有副作用的宏参数五、宏替换的规则六、宏和函数的对比 一、预定义符号 C语言中设置了一些预定义符号，可以直接使用，预定义符号也就是在预处理期间处理的。 __FILE__ //进行编译的源文件 __LINE__ //文件当前的行号 __DATE__ //文件被编译日期 __TIME__ //文件被编译那一瞬的时间 __STDC__ //如果编译器遵循ANSI C（标准C），其值为1，否则未定义(报错) 举例： #include<stdio.h> int main() { printf("%s\n", __FILE__); printf("%d\n", __LINE__); printf("%s\n", __DATE__); printf("%s\n", __TIME__); return 0; } 运行结果： 这里随便提一下，VS 不完全支持ANSI C（标准C）； g c c gcc gcc 支持ANSI C（标准C） 二、# d e f i n e define define 定义常量（符号） 基本语法：

GPT-4o (OpenAI) Emacs 是一种强大的文本编辑器，自1970年代以来一直在计算机领域中使用。它的优势以及在编程方面的便捷性取决于特定用户的需求和使用习惯。以下是一些 Emacs 的主要优点及其与 IDE 的比较： 优点 1. 灵活性和可扩展性： - Emacs 可以通过配置文件（通常是 .emacs 或 init.el）进行高度定制。很多插件和扩展包（如 MELPA 上的包）可以扩展其功能。 - 可以使用 Emacs Lisp 编程语言编写自定义函数和扩展插件，几乎可以修改和扩展 Emacs 的每一个细节。 2. 支持多种编程语言： - Emacs 支持多种编程语言，从常见的如Python、JavaScript、C/C++到不那么常见的语言如Haskell、Racket等都有对应的模式和插件。 3. 统一的编辑体验： - 无论你在编辑什么，你都使用相同的快捷键和界面。这减少了在不同工具之间切换时的学习成本。 4. 无缝集成的工具： - Emacs 包含了从版本控制（如Magit对于Git）到任务管理（Org mode）等众多功能，使得开发工作流更加流畅。 - 终端（`eshell`）、文件管理器、邮件客户端、RSS阅读器等几乎所有工作都可以在Emacs内部完成。 5. 跨平台： - Emacs 可以运行在几乎所有操作系统上，包括Windows、macOS、Linux等，使得用户在不同平台上有一致的编辑体验。 与 IDE 的比较 尽管Emacs 有很多优点，但是与现代IDE（如Visual Studio Code、IntelliJ IDEA、PyCharm、Eclipse等）相比，它在某些方面也有不足： 1. 上手难度： - Emacs 对新手来说学习曲线较陡，特别是其快捷键和自定义配置。 - 配置 Emacs 以达到一个现代 IDE 的功能和体验可能需要比较多的时间和精力。 2. 即装即用：

项目简介： 小李哥今天将继续介绍亚马逊云科技AWS云计算平台上的前沿前沿AI技术解决方案，帮助大家快速了解国际上最热门的云计算平台亚马逊云科技AWS上的AI软甲开发最佳实践，并应用到自己的日常工作里。本次介绍的是如何在Amazon SageMaker上微调（Fine-tune）大语言模型dolly-v2-3b，满足日常生活中不同的场景需求，并将介分享如何在SageMaker上优化模型性能并节省计算资源实现成本控制，最后将部署后的大语言模型URL集成到自己云上的软件应用中。 本方案包括通过Amazon Cloudfront和S3托管前端页面，并通过Amazon API Gateway和AWS Lambda将应用程序与AI模型集成，调用大模型实现推理。本方案的解决方案架构图如下： 利用微调模型创建的对话机器人前端UI 利用本方案小李哥用微调后的模型搭建了一个Q&A对话机器人助手，可以生成代码、文字总结、回答问题。 在开始分享案例之前，我们来了解一下本方案的技术背景，帮助大家更好的理解方案架构。 什么是Amazon SageMaker？ Amazon SageMaker 是一个完全托管的机器学习服务（大家可以理解为Serverless的Jupyter Notebook），专为应用开发和数据科学家设计，帮助他们快速构建、训练和部署机器学习模型。使用 SageMaker，您无需担心底层基础设施的管理，可以专注于模型的开发和优化。它提供了一整套工具和功能，包括数据准备、模型训练、超参数调优、模型部署和监控，简化了整个机器学习工作流程。 本方案将介绍以下内容： 1. 使用 SageMaker Jupyter Notebook进行dolly-v2-3b模型开发和微调 2. 在SageMaker部署微调后的大语言模型LLM并基于数据进行推理 3. 使用多场景的测试案例验证推理结果表现，并将部署的模型API节点集成进云端应用 项目搭建具体步骤： 下面跟着小李哥手把手微调一个亚马逊云科技AWS上的生成式AI模型（dolly-v2-3b）的软件应用，并将AI大模型部署与应用集成。 1. 在控制台进入Amazon SageMaker, 点击Notebook 2. 打开Jupyter Notebook 3. 创建一个新的Notebook：“lab-notebook.ipynb”并打开 4. 接下来我们在单元格内一步一步运行代码，检查CUDA的内存状态 !nvidia-smi 5.接下来，我们安装必要依赖并导入 %%capture !pip3 install -r requirements.txt --quiet !pip install sagemaker --quiet --upgrade --force-reinstall %%capture import os import numpy as np import pandas as pd from typing import Any, Dict, List, Tuple, Union from datasets import Dataset, load_dataset, disable_caching disable_caching() ## disable huggingface cache from transformers import AutoModelForCausalLM from transformers import AutoTokenizer from transformers import TextDataset import torch from torch.

🌈 个人主页：十二月的猫-CSDN博客 🔥 系列专栏： 🏀环境配置_十二月的猫的博客-CSDN博客 💪🏻 十二月的寒冬阻挡不了春天的脚步，十二点的黑夜遮蔽不住黎明的曙光 目录 1. MySQL介绍 2. MySQL下载 3. MySQL安装 3.1 双击下载的msi文件 3.2 选择安装的产品（只安装MySQL Server，其他产品不安装） 3.3 选择MySQL软件安装位置以及数据库存放位置 3.4 如果没有安装C++依赖会自动提示安装依赖（借别人图） 3.5 安装 4. MySQL配置 4.1 进入MySQL配置 4.2 配置安装类型 4.3 配置加密方式 4.4 设置用户名和密码 4.5 设置服务 4.6 等待配置完成 4.7 配置环境变量 4.7.1 查看MySQL文件中的bin文件的安装位置 4.7.1 将bin文件路径放到用户变量中的Path变量中 5. 测试与启动MySQL 5.1 测试MySQL 5.2 启动MySQL服务 5.2.1 管理员模式打开终端 5.2.2 启动MySQL服务 6. 登录MySQL 总结 1. MySQL介绍 MySQL 是瑞典的MySQL AB公司开发的一个可用于各种流行操作系统平台的关系数据库系统，它具有客户机/服务器体系结构的分布式数据库管理系统。MySQL 完全适用于网络，用其建造的数据库可在因特网上的任何地方访问，因此，可以和网络上任何地方的任何人共享数据库。MySQL具有功能强、使用简单、管理方便、运行速度快、可靠性高、安全保密性强等优点。 MySQL用C和C++编写，它可以工作在许多平台（Unix，Linux，Windows）上，提供了针对不同编程语言(C,C++,JAVA等)的API函数；使用核心线程实现多线程，能够很好的支持多CPU；提供事务和非事务的存储机制；快速的基于线 程的内存分配系统；MySQL采用双重许可，用户可以在GNU许可条款下以免费软件或开放源码软件的方式使用MySQL软件，也可以从MySQLAB公司获得正式的商业许可。 除了以上特点，MySQL 还有一个最大的特点，那就是在诸如 UNIX 这样的操作系统上，它是免费的，可从因特网上下载其服务器和客户机软件。并且还能从因特网上得到许多与其相配的第三方软件或工具。而在 Windows 系统上，其客户机程序和客户机程序库是免费的。

文章目录 建造者模式为什么使用建造者模式建造者模式实现步骤实现示例建造者模式优缺点 建造者模式 建造者模式（Builder Pattern）是面向对象设计模式中的一种，主要用于创建复杂对象。这种模式将对象的构建过程与其表示分离，允许用户通过相同的构建过程创建不同的表示。以下是建造者模式的一些关键概念： 产品（Product）： 这是最终要创建的复杂对象。产品可能由多个组成部分构成，这些部分可以有不同的表现形式。抽象建造者（Builder）： 定义了一个用于创建复杂对象的接口，但并不涉及具体的部件和它们的装配方式。它通常包含一系列用于构建产品各个部分的方法。具体建造者（Concrete Builder）： 实现了抽象建造者接口，负责构建并装配各个部分。具体建造者类通常包含了构建产品各个部分的业务逻辑。指挥者（Director）： 使用建造者对象中的方法来创建产品对象。指挥者不关心具体产品是如何被构建的，它只负责指导建造者去构建产品。有时，指挥者的职责可以内嵌到客户端代码中。 为什么使用建造者模式 主要解决在软件系统中，有时候面临着"一个复杂对象"的创建工作，其通常由各个部分的子对象用一定的算法构成；由于需求的变化，这个复杂对象的各个部分经常面临着剧烈的变化，但是将它们组合在一起的算法却相对稳定。 建造者模式（Builder Pattern）主要在以下几种情况下使用，以解决特定的设计问题： 对象构造复杂： 当一个对象的构造过程复杂，涉及到很多不同的选项或配置，而且这些选项之间可能存在依赖关系时，使用建造者模式可以将构造过程分解为一系列小步骤，每个步骤负责设置对象的一部分属性。这使得构造过程更清晰，避免了构造函数中出现大量参数的情况，也使得对象的构造更为灵活。对象具有多种变体： 如果一个对象可能有多种不同的配置或表示形式，而这些配置或表示在构造时就已经确定，那么可以使用建造者模式来创建这些变体。通过不同的具体建造者，可以构造出不同配置的对象实例。构造过程独立于部件： 建造者模式使构建过程和产品对象的表示相分离，这意味着即使构建过程改变，也不影响产品对象的表示，反之亦然。这有助于维护代码的稳定性和可扩展性。控制构建过程的顺序： 某些情况下，对象的构建顺序很重要，而这个顺序可能会随时间变化。建造者模式通过将构建过程委托给Director（指挥者）类来管理，可以很容易地调整构建顺序，而无需修改建造者本身。减少重复代码： 当构建相似但不完全相同的产品对象时，建造者模式可以减少重复代码。不同的建造者可以共享相同的构建逻辑，只是在某些步骤上有所不同。易于扩展和维护： 如果未来需要增加新的产品特性，只需添加新的建造者类，而无需修改现有的建造者或产品类。这使得系统更容易适应需求变化。 例如，在软件开发中，创建一个复杂的数据库连接工厂可能需要指定不同的数据库类型、驱动程序、连接字符串、身份验证信息等。使用建造者模式，你可以逐步设定这些参数，同时保持代码的清晰和可维护性。 建造者模式实现步骤 1.提供抽象建造者类: 为创建产品各个部分，统一抽象接口 2.提供具体建造者类：具体实现抽象建造者各个部件的接口 3.提供多个具体产品类:具体的创建产品的各个部分 4.提供一个指挥类：负责安排和调度复杂对象的各个建造过程 实现示例 //电脑组装:显示器、鼠标、键盘、主机（主机又包括cpu、显卡、主板等） //1.找到店铺老板告诉需求 //2.客服安排技术员工组装 //3.产品组装完成 #include <iostream> #include <string> #include <vector> using namespace std; //电脑组装:显示器、鼠标、键盘、主机（主机又包括cpu、显卡、主板等） //1.找到店铺老板告诉需求 //2.客服安排技术员工组装 //3.产品组装完成 //抽象产品类 class AbstractProduct { public: virtual void SetDisplayer(string displayer) = 0; virtual void SetMouse(string mouse) = 0; virtual void SetKeyBoard(string keyBoard) = 0; virtual void SetHost(string host) = 0; virtual void Show() = 0; }; //具体产品类 class Computer :public AbstractProduct { void SetDisplayer(string displayer) { m_list.

正文共：1555 字 13 图，预估阅读时间：2 分钟 介于CentOS 7停服的原因（CentOS 7停服之后该怎么安装软件呢？），为了方便日常使用，还是要研究一下替换成Ubuntu系统（如何在Ubuntu 23.10部署KVM并创建虚拟机？），先尝试一下在Ubuntu系统中部署openVPN服务端。 对于openVPN或者SSL VPN而言，这种以加密协议为基础提供远程的安全连接服务，主要基于数字证书利用数字签名的方法对SSL服务器和SSL客户端进行身份验证（VSR白送的的SSL VPN功能，你要不要？）。所以，使用Ubuntu系统，我们还是要先创建证书（使用Easy-RSA配置生成SSL证书）。 关于如何创建一份可以自动创建Easy-RSA证书的脚本，我们之前已经做了详细介绍（手撸一个自动创建SSL证书的SHELL脚本）。接下来，我们验证一下Easy-RSA在Ubuntu系统的使用是否存在差异，以及之前的脚本需要做何调整。 首先是软件安装，对应的命令为： apt install -y easy-rsa 如果转换成SHELL脚本，则可以是： # 安装Easy-RSA install_easyrsa() { echo "正在安装Easy-RSA..." apt install -y easy-rsa echo "Easy-RSA安装完成。" } 然后是初始化Easy-RSA环境，在Ubuntu系统中，Easy-RSA的安装路径是/usr/share/easy-rsa/，需要依赖easyrsa文件来生成证书和密钥等文件。 可以看到，机构配置范例文件vars.example也位于这个目录，复制一份。 cp /usr/share/easy-rsa/vars.example /usr/share/easy-rsa/vars 如果转换成SHELL脚本，则可以是： # 初始化Easy-RSA环境 init_easyrsa() { echo "初始化Easy-RSA环境..." cd /usr/share/easy-rsa/ # 复制vars.example为vars，避免覆盖 if [ -f vars ]; then mv vars vars.backup fi cp vars.example vars echo "Easy-RSA环境初始化完成。" } 然后我想修改机构信息中的部分字段为以下信息。 set_var EASYRSA_REQ_COUNTRY "CN" set_var EASYRSA_REQ_PROVINCE "

大模型系列文章目录 Qwen2-7B本地部署（WEB版） 前言 大模型是截止2024年上半年最强的AI，Qwen2是刚出来的号称国内最强开源大模型。这是大模型系列的第一篇文章，旨在快速部署看看最近出来的大模型效果怎么样，效果ok的话就微调自己的GPTs了。 一、Ollama下载安装 进入官网点击Download选择Windos，点击Download for Windows (Preview)，这里fq会快很多默认安装 二、Qwen2下载安装 1.下载Qwen2 进入官方教程：https://qwen.readthedocs.io/zh-cn/latest/getting_started/installation.html先在最下面点击效率评估，看下各个模型占的显存，选择适合自己的，比如我的显卡是4070，有12G显存，我选择的模型就是Qwen2-7B-Instruct GPTQ-Int4进入下载链接会看到不同的后缀，q”+ 用于存储权重的位数（精度）+ 特定变体，数字越大性能越强。数字越大，精度越高，k是在所有的attention和feed_forward张量上将精度提升2位，m是在一半的attention和feed_forward张量上将精度提升2位。根据自己的需求选择模型，我这里直接选了q8。 2.运行Qwen2 新建一个文件夹，自己取个英文名（qwen），把qwen2-7b-instruct-q8_0.gguf移到文件夹里。在文件夹里新建一个名为Modelfile的文件，里面填 FROM ./qwen2-7b-instruct-q8_0.gguf 然后用命令行通过ollama创建Qwen2-7B模型： ollama create Qwen2-7B -f ./Modelfile 出现success代表创建成功 运行，输入命令 ollama run Qwen2-7B 出现对话框就可以聊天啦 如果要看本地有哪些大模型：ollama list 如果要删除这个模型的话：ollama rm xxx 如果要看运行了哪些大模型：ollama ps 但是在dos中聊天总感觉在上世纪的聊天方式一样，所以为了找到GPT的感觉，接下来我们继续在web中实现。 三、Node.js 1.Node.js下载安装 进入Node官网下载Node，安装验证node的版本： node -v v20以上就没问题 下载ollama-webui代码进入ollama-webui文件夹，设置国内镜像源提速： npm config set registry http://mirrors.cloud.tencent.com/npm/ 安装Node.js依赖： npm install 如果报错说要audit，则依次进行即可： npm audit npm audit fix 启动Web界面： npm run dev 打开Web页面，选择你的模型即可开始对话：

这个题给了四个数组，可以两两判断，就类比两数相加那道题了 对于num1 num2 用unordered_map存储，key是num1，num2中数字相加之和，value是值出现的次数 for(int a:num1) {for(int b:num2 {map[a+b]++; 最后要计算四个数组相加等于零出现的次数 用count存，同理对num2 num3循环，找到等于零的，count累加 /* * @lc app=leetcode.cn id=454 lang=cpp * * [454] 四数相加 II */ // @lc code=start class Solution { public: int fourSumCount(vector<int>& nums1, vector<int>& nums2, vector<int>& nums3, vector<int>& nums4) { unordered_map<int,int> map; for(int a:nums1) { for(int b:nums2) { map[a+b]++; } } int count = 0; for(int c:nums3) { for(int d:nums4) { if(map.find(0-c-d) != map.end()) { count += map[0-c-d]; } } } return count; } }; // @lc code=end

Seamlessly Manipulate SVG Files in Python Aspose.SVG for Python via .NET is a comprehensive software development library that empowers developers working in Python to seamlessly manipulate and manage SVG (Scalable Vector Graphics) files. This on-premise class library integrates .NET functionality within the Python environment, providing a robust suite of tools for SVG creation, editing, optimization, and conversion. Aspose.SVG for Python via .NET adheres to official SVG specifications, ensuring compatibility and efficient development.

6-5，web3浏览器链接区块链（react+区块链实战） 6-5 web3浏览器链接区块链（调用读写合约与metamask联动） 6-5 web3浏览器链接区块链（调用读写合约与metamask联动） 这里就是浏览器端和智能合约的交互 两个库 Web3 Truffle contract //truffle在链接前端合约简单包了一层，比较好用 来到react项目的根目录下（在第一章进行了创建）， 这里重新创建一个react项目 https://blog.csdn.net/u012118993/article/details/87288516 react创建新项目 使用creat-react-app快速新建一个react项目 （1）npm install -g create-react-app 全局安装（安装到整体） （2）create-react-app reactproject 新建并对react项目进行命名（注:项目名称不能有大写） （3）cd reactproject 通过命令进入文件夹内部，准备运行项目 （4）npm start 运行项目 E:\truffle\woniu-pet-shop 在truffle目录下创建 在react的项目下安装下面的文件 安装web3（安装到文件夹下面） npm install web3 --save 再安装truffle-contract npm install truffle-contract --save Demo完成 1.链接合约 2.执行一下合约内部函数 3.添加ant.design ui库支持 4.完成项目 注意新的 App.js中的内容 如下 import React from 'react' import Web3 from 'web3' import TruffleContract from 'truffle-contract' import AdoptionJson from './truffle/build/contracts/Adoption.json' //引入前面智能合约编译好得到的json文件 class App extends React.

jstat：查看JVM统计信息 一 基本情况二 基本语法2.1 option参数1. 类装载相关的：2. 垃圾回收相关的`-gc`：显示与GC相关的堆信息。包括Eden区、两个Survivor区、老年代、永久代等的容量、已用空间、GC时间合计等信息。`-gccapacity`：显示内容与-gc基本相同，但输出主要关注Java堆各个区域使用到的最大、最小空间。`-gcutil`：显示内容与-gc基本相同，但输出主要关注已使用空间占总空间的百分比。`-gccause`：与-gcutil功能一样，但是会额外输出导致最后一次或当前正在发生的GC产生的原因。`-gcnew`：显示新生代GC状况`-gcnewcapacity`：显示内容与-gcnew基本相同，输出主要关注使用到的最大、最小空间`-geold`：显示老年代GC状况`-gcoldcapacity`：显示内容与-gcold基本相同，输出主要关注使用到的最大、最小空间`-gcpermcapacity`:显示永久代使用到的最大、最小空间。 3. **JIT相关的：**`-compiler`：显示JIT编译器编译过的方法、耗时等信息`-printcompilation`：输出已经被JIT编译的方法  2.2 interval参数2.2 count参数2.3 -t参数2.4 -h参数 三 补充 一 基本情况 jstat(JVM Statistics Monitoring Tool)：用于监视虚拟机各种运行状态信息的命令行工具。它可以显示本地或者远程虚拟机进程中的类装载、内存、垃圾收集、JIT编译等运行数据。 在没有GUI图形界面，只提供了纯文本控制台环境的服务器上，它将是运行期定位虚拟机性能问题的首选工具。常用于检测垃圾回收问题以及内存泄漏问题。 官方文档 二 基本语法 它的基本使用语法为： jstat -<option> [-t] [-h<lines>] <vmid> [<interval> [<count>]] 查看命令相关参数： jstat -h 或 jstat -help 2.1 option参数 选项option可以由以下值构成。 1. 类装载相关的： -class：显示ClassLoader的相关信息：类的装载、卸载数量、总空间、类装载所消耗的时间等 2. 垃圾回收相关的 -gc：显示与GC相关的堆信息。包括Eden区、两个Survivor区、老年代、永久代等的容量、已用空间、GC时间合计等信息。 新生代相关 S0C是第一个幸存者区的大小（字节）S1C是第二个幸存者区的大小（字节）S0U是第一个幸存者区已使用的大小（字节）S1U是第二个幸存者区已使用的大小（字节）EC是Eden空间的大小（字节）EU是Eden空间已使用大小（字节） 老年代相关 OC是老年代的大小（字节）OU是老年代已使用的大小（字节） 方法区（元空间）相关 MC是方法区的大小MU是方法区已使用的大小CCSC是压缩类空间的大小CCSU是压缩类空间已使用的大小 其它 YGC是指从应用程序启动到采样时young gc次数YGCT是指从应用程序启动到采样时young gc消耗的时间（秒）FGC是指从应用程序启动到采样时full gc次数FGCT是指从应用程序启动到采样时full gc消耗的时间（秒）GCT是指从应用程序启动到采样时gc的总时间 -gccapacity：显示内容与-gc基本相同，但输出主要关注Java堆各个区域使用到的最大、最小空间。 -gcutil：显示内容与-gc基本相同，但输出主要关注已使用空间占总空间的百分比。 -gccause：与-gcutil功能一样，但是会额外输出导致最后一次或当前正在发生的GC产生的原因。 -gcnew：显示新生代GC状况 -gcnewcapacity：显示内容与-gcnew基本相同，输出主要关注使用到的最大、最小空间 -geold：显示老年代GC状况 -gcoldcapacity：显示内容与-gcold基本相同，输出主要关注使用到的最大、最小空间 -gcpermcapacity:显示永久代使用到的最大、最小空间。 3.

目录 一、Http响应与请求1、Http请求2、Http响应3、状态码 二、Requests库1、发起GET请求2、发起POST请求3、处理请求头 三、BeautifulSoup库1、解析HTML文档2、查找和提取数据Ⅰ、查找单个元素Ⅱ、查找所有元素Ⅲ、使用CSS选择器Ⅳ、获取元素属性 四、爬取豆瓣电影榜 一、Http响应与请求 HTTP是一种客户端-服务器协议，通信的双方分别是客户端和服务器。客户端发送HTTP请求，服务器接收并处理请求后返回HTTP响应。 1、Http请求 HTTP请求由请求行、请求头部、空行和请求数据（如POST请求时的表单数据）组成。 请求行包含请求方法、请求的URL和协议版本。常见的请求方法包括GET、POST、PUT、DELETE等。请求头部包含关于客户端和请求的其他信息，如User-Agent、Accept、Content-Type等。空行用于分隔请求头部和请求数据。请求数据通常用于POST请求，包含提交的数据。 请求示例： POST /api/users HTTP/1.1 Host: www.example.com User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36 Accept: application/json Content-Type: application/json Content-Length: 27 { "name": "John", "age": 30 } 请求行：POST /api/users HTTP/1.1 请求头：包含Host、User-Agent、Accept、Content-Type、Content-Length等 空行：请求头和请求体之间的空行 请求体：JSON数据 2、Http响应 HTTP响应由状态行、响应头部、空行和响应数据组成。 状态行包含协议版本、状态码和状态消息。状态码指示了请求的处理结果，如200表示成功，404表示未找到资源，500表示服务器内部错误等。响应头部包含服务器和响应的其他信息，如Server、Content-Type、Content-Length等。空行用于分隔响应头部和响应数据。响应数据包含服务器返回的数据，如HTML、JSON等。 假设服务器返回一个简单的HTML页面，响应可能如下： HTTP/1.1 200 OK Date: Sun, 02 Jun 2024 10:20:30 GMT Server: Apache/2.4.41 (Ubuntu) Content-Type: text/html; charset=UTF-8 Content-Length: 137 Connection: keep-alive <!

连接到GPU服务器: 使用SSH客户端(如PuTTY或终端)连接到你的服务器。命令通常是: ssh username@server_ip 安装依赖: 确保Python和Git已安装。在大多数Linux系统上,可以这样安装: sudo apt update sudo apt install python3 python3-pip git 克隆ComfyUI仓库: 这步骤会下载ComfyUI的源代码到服务器: git clone https://github.com/comfyanonymous/ComfyUI.git cd ComfyUI 创建虚拟环境: 虚拟环境可以隔离项目依赖: python3 -m venv venv source venv/bin/activate 激活后,你的命令提示符应该变化,表示你在虚拟环境中。 安装依赖项: 这会安装ComfyUI所需的所有Python包: pip install -r requirements.txt 可能需要一些时间,因为有些包比较大。 下载模型: ComfyUI需要特定的AI模型文件才能运行。你需要手动下载这些文件并放在正确的目录中。具体需要哪些模型取决于你想要使用的功能。 启动ComfyUI: python main.py --listen 0.0.0.0 这条命令让ComfyUI监听所有网络接口,而不仅仅是localhost。 配置防火墙: 如果服务器有防火墙,你需要开放8188端口。在Ubuntu上,可以使用: sudo ufw allow 8188 通过浏览器访问: 在本地计算机的浏览器中输入 http://服务器IP:8188。 设置反向代理: 这是一个更高级的步骤。它涉及安装和配置像Nginx这样的web服务器,以便更安全地访问ComfyUI。

一、Presto安装配置 集群规划（一主两从集群） hadoop01hadoop02主coordinatoryesno从workeryesyes java8版本安装 #可以手动安装oracle JDK #也可以使用yum在线安装 openjDK yum install java-1.8.0-openjdk* -y #安装完成后，查看jdk版本： java -version 上传解压Presto安装包 #创建安装目录 mkdir -p /export/server #yum安装上传文件插件lrzsz yum install -y lrzsz #上传安装包到hadoop01的/export/server目录 presto-server-0.245.1.tar.gz #解压、重命名 tar -xzvf presto-server-0.245.1.tar.gz mv presto-server-0.245.1 presto #创建配置文件存储目录 mkdir -p /export/server/presto/etc 添加配置文件 hadoop01配置 etc/config.properties cd /export/server/presto vim etc/config.properties #---------添加如下内容 coordinator=true node-scheduler.include-coordinator=true http-server.http.port=8090 query.max-memory=6GB query.max-memory-per-node=2GB query.max-total-memory-per-node=2GB discovery-server.enabled=true discovery.uri=http://192.168.88.80:8090 #---------end #参数说明 coordinator:是否为coordinator节点，注意worker节点需要写false node-scheduler.include-coordinator:coordinator在调度时是否也作为worker discovery-server.enabled:Discovery服务开启功能。presto通过该服务来找到集群中所有的节点。每一个Presto实例都会在启动的时候将自己注册到discovery服务； 注意：worker节点不需要配 discovery.uri:Discovery server的URI。由于启用了Presto coordinator内嵌的Discovery服务，因此这个uri就是Presto coordinator的uri。 etc/jvm.config vim etc/jvm.config -server -Xmx3G -XX:+UseG1GC -XX:G1HeapRegionSize=32M -XX:+UseGCOverheadLimit -XX:+ExplicitGCInvokesConcurrent -XX:+HeapDumpOnOutOfMemoryError -XX:+ExitOnOutOfMemoryError etc/node.

近日，人大金仓支撑山西涉企政策服务平台、政务服务热线联动平台、政务网、办件中心等近30个政务核心系统完成全栈国产化升级改造，推进全省通办、跨省通办、综合业务受理、智能审批、一件事一次办等业务的数字化办结进程，为我国数字政务服务提质增效。 推进数字政务快速发展 我国“十四五”规划中明确提出了加快数字政府建设的目标，并出台了一系列政策措施推动数字政务的快速发展。前不久，中共中央、国务院印发了《数字中国建设整体布局规划》，将“政务数字化智能化水平明显提升”作为到2025年数字中国建设的目标之一，明确提出“发展高效协同的数字政务”，为进一步推进数字政府建设指明了方向。山西省积极响应国家政策，着力推进山西政务服务体系核心系统的国产化升级。数据库建设是政务系统的源头，是各部门政务系统实现信息共享、资源优化的前提。数据库国产化升级改造成为重中之重。 政务信息系统作为内外政务办理的基本窗口，对内服务省直单位、地市业务机构，需满足30000+政务人员日常办公使用，同时提供内网业务系统服务调用支持；对外支撑全省3000万+用户线上政务办理，满足外网数据流转需求。在存量数据7000多万条，忙时并发20000+条件下，对数据库的性能、安全性、稳定性等方面提出了极高要求。 本次政务信息系统改造涉企政策服务平台、政务服务热线联动平台、政务网、办件中心等近30个核心系统及周边基础支撑模块，复杂的业务场景、庞大的系统改造工程极其考验数据库原厂技术支持能力和水平。 金仓方案 在系统国产化升级改造过程中，用户选择了人大金仓作为支撑其系统的核心底座。人大金仓针对不同应用系统的特点，详细规划了集群部署架构、迁移方案，并提供了本地化专业服务，为用户打造高性能、高安全、稳定可靠的数据底座，助力数字政府建设。 No.1 一主多备读写分离集群+高可用集群 通过严谨的前期调研，根据政务系统的诸多业务场景以及持续高强度的负载压力特征，人大金仓设计并匹配了相应的集群部署架构，采用一主多备读写分离集群、高可用集群等部署架构，充分考虑不同业务系统的场景特点、资源配置，为用户提供极具性价比的架构选择。 No.2 三低一平、自动化迁移 该项目涉及的近30个业务系统改造上线，基于金仓数据库低难度、低风险、低成本，平滑迁移的解决方案能力，保障项目顺利如期上线并运行稳定；在整个项目改造中，除其中5个系统由金仓原厂工程师参与迁移适配外，其余20余个系统均由ISV厂商基于金仓配套迁移工具主导完成平滑迁移，所有系统在数据库对象及应用适配上基本不需要改造代码。ISV厂商反馈，金仓数据库高度兼容Oracle和MySQL，自动化迁移工具功效显著，自动化迁移率极高。 No.3 高性能支持、高安全保障 高性能、高并发需求：系统在2倍负载压力测试条件下，数据库运行平稳、资源占用正常，满足不同业务场景下高并发、大数据量、复杂数据流转的存算性能要求。全国产化平台下对数据库存储过程、SQL、PLSQL等对象进行了细致且全面的优化，经过优化的数据库集群性能显著提升，性能指标平均提升1倍以上，数据库复杂关联查询秒级响应，大大缩短系统响应时间。 稳定性、安全性需求：业务系统采用独立的数据库集群部署，数据库通过灵活配置，满足各个业务系统使用需求的同时确保数据冗余，实现数据物理隔离。多数据副本的存储方式能够满足用户系统整体容灾的设计要求，确保系统能连续稳定运行。同时，金仓数据库具备EAL4+等多项安全资质，确保了数据在存储与处理过程中的高度安全性，为客户的数据安全筑起了坚实防线。 No.4 本地团队专业服务 在项目推进过程中，人大金仓始终以客户为中心，提供本地化的专业实施及运维服务，实现全省范围内的7*24小时专家级快速响应服务，为系统稳定运行保驾护航。 系统上线后，将形成政务统一平台技术与业务框架，能够极大提升政务业务线上受理覆盖度，全面贯通内外务业务办理流程，推进全省通办、跨省通办、综合业务受理、智能审批、一件事一次办等业务的数字化办结进程。 金仓数据库的成功应用，推进了政府治理能力，提升了公共服务效率与质量，也充分验证了人大金仓自主研发技术在政务核心系统领域完成国产数据库替换的可行性，为国产数据库在政务领域的推广和应用树立了标杆。作为数据库领域国家队，人大金仓凭借四十多年的技术积累，已成功服务于各级政府、部委、公检法等机构的信息化建设，深度参与到政府数字化转型的进程中。 未来，人大金仓将继续发挥自主创新能力，基于丰富的行业实践经验，积极推动数字政府、数字经济、数字社会、数字生态协同发展，为数字中国建设做出更大的贡献。 供稿：解决方案与售前支持部 编辑：薇薇 审核：日尧

本文作者：程序员鱼皮 免费编程学习 - 编程导航网：https://www.code-nav.cn 鱼小皮：百哥，我想学编程，应该先学啥呢？ 老百：小皮，怎么突然想学编程了，不会又是三分钟热度吧？ 鱼小皮：嘿嘿，觉得学编程非常酷，可以发挥自己的想象，创造属于自己的网站和 App，绝对不是为了赚钱哦！ 老百：那你可以先学前端。 鱼小皮：前端是啥？我只听说过 C 语言，Java，Python 之类的。 老百：前端是网站的前台部分，就是我们能够看得到的，运行在浏览器中的网页。 鱼小皮：嗷！我知道了，前端就是做网站呗，好像很简单嘛？ 老百：可别小看前端！ 老百：早期的前端技术和应用确实没有那么丰富。但随着科技的进步和智能设备的普及，如今前端技术不仅能制作网站，还能够开发App、桌面程序、小程序、快应用等。前端涉及的领域也越来越多，比如3D、游戏、VR、AR、数据可视化等，每个领域都有相当多的专家在探索。 鱼小皮：前端的发展真是快！那现在市场对前端工程师的需求量大么，工资高不？ 老百：还是想着赚钱呀！薪资是有很多的影响因素的，比如所在城市、工作经验、工作能力、企业类型等等。前端的择业面很广，比如 PC 网站、移动网站、智能设备界面开发、混合开发等，前端工程师的平均薪资和市场需求度都是很高的！ 鱼小皮：那不是爽死了，俺要学个前端回去娶媳妇儿生娃~ 对了，前端需要学习哪些技术呢？ 老百：哈哈，前端技术可多了。除了基本的 html，css，js 三件套外，现在的前端工程师还必须要掌握一门开发框架，比如 Vue、React、Angular。这些框架能够大大地提升开发效率，以适应企业的快节奏。 鱼小皮：那学了这些就能精通前端么？ 老百：远远不够！学了上面这些技术后，你只是具备了前端开发的能力。 老百：优秀的前端工程师不仅要了解主流的前端技术，还要学习后端、网络等，提升知识广度。而真正的前端专家们一定是长期在某一个细的领域不断深耕，才能创造更多新的技术，因此技术的深度也尤为重要。最重要的是，要对技术充满热情，持续学习新的技术，把握业内动向，才能引领时代！ 鱼小皮：听的我都激动死了，我要学我要学！ 老百：年轻人，我看你和编程有缘，这本前端入门秘籍就免费赠送给你吧！ 更多编程学习资源 Java前端程序员必做项目实战教程+毕设网站程序员免费编程学习交流社区（自学必备）程序员保姆级求职写简历指南（找工作必备）程序员免费面试刷题网站工具（找工作必备）最新Java零基础入门学习路线 + Java教程最新Python零基础入门学习路线 + Python教程最新前端零基础入门学习路线 + 前端教程最新数据结构和算法零基础入门学习路线 + 算法教程最新C++零基础入门学习路线、C++教程最新数据库零基础入门学习路线 + 数据库教程最新Redis零基础入门学习路线 + Redis教程最新计算机基础入门学习路线 + 计算机基础教程最新小程序入门学习路线 + 小程序开发教程最新SQL零基础入门学习路线 + SQL教程最新Linux零基础入门学习路线 + Linux教程最新Git/GitHub零基础入门学习路线 + Git教程最新操作系统零基础入门学习路线 + 操作系统教程最新计算机网络零基础入门学习路线 + 计算机网络教程最新设计模式零基础入门学习路线 + 设计模式教程最新软件工程零基础入门学习路线 + 软件工程教程

mysql高并发设计 一、部署方案 https://blog.csdn.net/weixin_37519752/article/details/138728036 方案1：双主 1、优点 写入扩展性：两个节点都可以处理写入操作，提高了写入操作的扩展性。 高可用性：在任一节点故障时，另一个节点仍可继续提供服务，包括写入操作。 故障转移：无需复杂的故障转移机制，因为两个节点都是活跃的。 2、缺点 数据一致性：需要复杂的冲突检测和解决机制来保持数据一致性。 网络要求：对网络稳定性和延迟有较高要求，因为节点间的实时同步对网络质量敏感。 额外开销：实时同步带来的额外网络和磁盘I/O开销。 3、适用场景 分布式应用：需要在不同地理位置提供写入能力的应用。 高写入负载：需要分散写入负载以提高性能的场景。 实时数据需求：需要在多个节点实时同步数据的应用。 方案2：主从复制 一主一从，或者一主多从 mysql5.7以上版本支持 1、优点 数据冗余：提供了数据的热备份，降低了数据丢失的风险。 性能提升：一主多从，不同用户从不同数据库读取，性能提升。 扩展性：流量增大时，可以方便地增加从服务器，不影响系统使用。 负载均衡：一主多从相当于分担了主机任务，做了负载均衡。 2、缺点 数据延迟：由于复制是异步的，存在数据复制延迟的风险。 复杂性增加：增加了系统的复杂性，需要更多的维护和管理。 额外资源消耗：需要额外的硬件资源来部署从服务器。 写入性能影响：所有写入操作都在主服务器上执行，可能成为性能瓶颈。 3、适用场景 读写分离：适用于读操作远多于写操作的场景。 数据备份：用于数据的实时备份，以防止数据丢失。 高可用性需求：需要保证服务连续性的关键应用 二、mysql性能优化 1、使用索引 索引是对表中数据进行高效查询的关键。在MySQL中，可以使用B-Tree索引或哈希索引来加速查询操作 示例： CREATE INDEX index_name ON table_name (column1, column2, ...); 2、优化查询语句 优化查询可以提高MySQL性能。可以通过合适的查询语句、索引和缓存机制来减少查询的执行时间，避免全表扫描和不必要的数据操作 示例： # 通过使用索引和合适的查询语句 SELECT * FROM table_name WHERE column1 = "value" AND column2 = "value"; # 避免使用通配符查询，可以使用索引来加速查询 SELECT * FROM table_name WHERE column1 LIKE "

前言： 刚接触、搭建Nuxt3项目的过程还是有点懵的，有种摸石头过河的感觉，对于网络请求这块，与之前的Vue3项目有所区别，在Vue项目通常使用axios这个库进行网络请求，但在Nuxt项目并不推荐，因为有内置 fetch 相关...接下来一起学习一下Nuxt3数据请求的点点滴滴吧~ 文档： 数据获取 · 快速入门 Nuxt 关键： useFetch 是在组件设置函数中处理数据获取的最简单方法。$fetch 可以根据用户交互进行网络请求。useAsyncData 结合 $fetch，提供了更精细的控制。 讲解： useAsyncData： 提供了一种在SSR友好的组合式中访问异步解析数据的方式注意，setup期间，这里结合了$fetch，并且设置了一个key，一个唯一的键，用于确保数据获取可以在请求中正确去重 <script setup> const { data, pending, error, refresh } = await useAsyncData( 'mountains', () => $fetch('https://api.nuxtjs.dev/mountains') ) </script> 当 CMS 或第三方提供自己的查询层时。在这种情况下，您可以使用 useAsyncData 来封装您的调用，并仍然保持组合函数提供的好处。 $fetch: Nuxt使用 ofetch 来全局暴露`$fetch`辅助函数，用于在Vue应用程序或API路由中进行HTTP请求 源码：nuxt/packages/nuxt/src/app/entry.ts at main · nuxt/nuxt · GitHub$fetch是在Nuxt中进行HTTP调用的首选方式，而不是为Nuxt 2设计的@nuxt/http和@nuxtjs/axios。比如，你的页面有给用户提供交互的（按钮），那么就可以使用 $fetch ,不然控制台会有警告，网上就有不少人是在交互的时候使用useFetch而出现问题，看下面这篇文章警告：[nuxt] [useFetch] Component is already mounted, please use $fetch instead. See https://nuxt.com/docs/getting-started/data-fetchingNuxt 3：正确的方法 --- useFetch in Nuxt 3: The Proper Way (alex.