一蓑烟雨任平生
愿你阅尽世情,内心依然充盈!
找回我的旧影集 找回我的旧影集
好几年前,刚毕业的时候,搭了一个网站,用来记录一些生活感悟以及分享一些有纪念意义的照片。刚开始在上面分享也比较勤快,只是近几年一堆事情,生活上和工作上都有比较大的曲折与变动。后来基本停更,近些日子突然想看看之前的网站,发现也没法登录。好像之
2023-12-16
使用scikit-learn-intel-extension加速你的scikit-learn开发应用 使用scikit-learn-intel-extension加速你的scikit-learn开发应用
说明Scikit-learn作为传统机器学习/数据科学领域使用最广泛的开发包,在数据从业人员中得到广泛的使用好评。但是使用性能(特别是模型训练部分)并不是最优的。一些使用python实现的机器学习算法需要花费几个小时才能完成训练。
2022-12-03
机器学习中如何应对非正态分布数据的建模 机器学习中如何应对非正态分布数据的建模
前言在机器学习或数据分析过程中,通常会期待手里所拿到的数据在统计上是符合正态分布的。原因是大多常用的分析工具或算法模型均是以符合正态分布为前提条件。 比如,统计分析中的平均值、标准偏差、方差分析等;机器学习中的主成分分析、参数模型(如线性回
2022-11-17
使用numba对python数组复杂运算加速1000倍以上 使用numba对python数组复杂运算加速1000倍以上
numba介绍Numba 是适用于 Python 的即时编译器(jit),最适用于使用 NumPy 数组和函数以及循环的代码。 使用 Numba 最常见的方法是通过它的装饰器集合,通过这些装饰器来标记函数使用 Numba 编译。 当调用 N
2022-11-12
如何使用pandas实现对40万样本集的快速运算 如何使用pandas实现对40万样本集的快速运算
说明近期在项目中,涉及到对大样本、高维数据集的分析建模,总体上样本数量有40万个,特征维度有近300个。整个分析建模采用python机器学习框架,涉及pandas进行数据清洗,其中需要依据判断条件对异常样本进行剔除。当在小样本情况下,无论多
2022-11-02
数据科学/机器学习中如何应对超大型数据集的处理 数据科学/机器学习中如何应对超大型数据集的处理
说明在数据科学领域,python应当是目前最为常用的开发语言。由于数据分析、机器学习大部分时间基本在处理数据集,对于一般大小的数据文件,采用pandas读取基本已经足够。但若一个数据集大小达到1G甚至10G,pandas读取就显得效率太低,
2022-10-22
关于用pandas处理csv文件数据的一些事 关于用pandas处理csv文件数据的一些事
说明在做数据分析或者机器学习工作时,很多情况会涉及对csv格式的处理分析。pandas作为数据科学的常用工具包,对于csv格式数据的处理已经相当成熟。从对过去几个项目中的处理过的csv格式数据总结来看,发现有两个普遍而关键的处理用法: 关
2022-10-13
image labeling for supervised learning image labeling for supervised learning
监督学习下的建模过程,高质量的数据是构建好的模型的第一步。对于机器学习,包括了提取高质量的特征和标签的准确性;对于深度学习,则需确保标签的准确。 深度学习中的主要任务,包括分类、分割、检测,其首要任务均是对数据进行标注。分类是给样本标注类
2022-10-11
在visual studio 2022中构建opencv项目 在visual studio 2022中构建opencv项目
说明由于c++中执行效率方面的优势,本身是作为一种底层语言,用于开发各种系统和应用,运行速度相比其他语言(如MATLAB、Python更加快速)。 opencv作为在图像处理领域最为广泛使用的开源库,功能丰富,执行效率高。本文在windo
2022-10-10
mmsegmentation图像分割模型推理grpc调用服务,并通过bat脚本一键部署到新环境 mmsegmentation图像分割模型推理grpc调用服务,并通过bat脚本一键部署到新环境
背景说明采用mmsegmentation对标注好的训练集图像进行训练,得到最终训练好的图像分割深度学习模型。为了将训练好的模型部署到应用环境,以实现模型推理,并进一步将推理结果用于后续业务分析。本项目从以下三个步骤来完成该项目目的: 调
2022-10-07
hexo博客撰写与发表 hexo博客撰写与发表
write new post and deploy to github Create new post $hexo new "title" Deploy to github update message in _config.yml
2022-10-03
封控期间的菜单 封控期间的菜单
上海在春天的时光里,封控两个多月,而我练就了一手好饭。 3.14 鲫鱼+煎豆腐、青椒+鸡蛋 3.15 红烧肉、番茄+鸡蛋;胡萝卜、杏鲍菇 3.16 鸡翅;胡萝卜、杏鲍菇 3.26 胡萝卜、黑木耳+花菜 3.27 茄子+青椒、青椒+鸡蛋 3
2022-06-01