大家好，又见面了，我是你们的朋友全栈君。
日萌社
人工智能AI：TensorFlow Keras PyTorch MXNet PaddlePaddle 深度学习实战 part1
人工智能AI：TensorFlow Keras PyTorch MXNet PaddlePaddle 深度学习实战 part2
C/C++ 笔记、Python 笔记、JavaWeb + 大数据 笔记
IoU交并比、目标检测、RCNN、SPPNet、Fast R-CNN、Faster R-CNN、RPN区域提议网络、FPN特征金字塔、yolo、FCN基于全卷积的语义分割、反卷积、Mask RCNN
神经网络：正则化 范数 Droupout BN 方差 偏差 距离 损失 梯度 指标 学习率 超参数 归一化 标准化 激活 过拟合抑制 数据增强 标签平滑
Tensorflow 基础、迁移学习 微调、自定义 模型/层/损失/评估指标、保存 加载模型、Checkpoint TensorBoard data模块、@tf.function
SVM支持向量机、线性回归、逻辑回归、K-近邻算法KNN、KD树、决策树、集成学习 Bagging 随机森林、集成学习 Boosting AdaBoost GBDT、k-means聚类算法
TensorFlow张量间运算的广播机制、numpy数组间运算的广播机制
在Numpy/Pandas 和在 Tensorflow、Keras等一系列的AI框架中的 axis轴的取值的不同
用于回归问题的模型评价：MSE、RMSE、MAE、R-Squared
非极大值抑制NMS(Non Maximum Suppression)
池化层。Flatten、Reshape。batch、repeat、steps_per_epoch、epochs。tensorboard、ModelCheckpoint
ImageDataGenerator.flow_from_directory(…)
手势识别：使用EfficientNet模型迁移、VGG16模型迁移
OpenCV：python调用摄像头同时使用OpenCV中自带已训练好的检测器来检测实时图像中的人脸和眼睛
googlenet提出的Inception结构优势、softmax的BP推导/交叉熵损失的BP推导
神经网络的梯度消失/梯度爆炸问题、神经网络的过拟合问题、卷积网络输出大小计算/感受野计算、激活函数、sgd/momentum/rmsprop/adam优化算法
反卷积/转置卷积Conv2DTranspose、空洞卷积 的特点及其应用
使用 Keras 定义简单神经网络来识别 MNIST 手写数字的网络
数据结构与算法(java/python/C实现)：时间复杂度、冒泡排序、选择排序、插入排序、希尔排序、快速排序、归并排序、二叉树、队列、链表、栈
spark-scala调用tensorflow2.0训练好的模型
CV
CNN：RCNN、SPPNet、Fast RCNN、Faster RCNN、YOLO V1 V2 V3、SSD、FCN、SegNet、U-Net、DeepLab V1 V2 V3、Mask RCNN
损失函数(交叉熵损失cross-entropy、对数似然损失、多分类SVM损失(合页损失hinge loss))、Softmax分类器和交叉熵损失cross-entropy
浅层神经网络/深层神经网络的前向传播与反向传播计算过程、非线性的激活函数(Sigmoid、Tanh、Relu、Leaky ReLU)、参数与超参数
局部最优、梯度消失、鞍点、海森矩阵(Hessian Matric)、批梯度下降算法(btach批梯度下降法BGD、小批量梯度下降法Mini-Batch GD、随机梯度下降法SGD)
动量梯度下降(Momentum、指数加权平均)、逐参数适应学习率方法(Adagrad、RMSprop、Adam)、学习率退火、归一化/标准化
偏差与方差、L1正则化、L2正则化、dropout正则化、神经网络调优、批标准化Batch Normalization(BN层)、Early Stopping、数据增强
卷积神经网络CNN、感受野、边缘检测、卷积层(零填充padding、步长、多通道卷积、多卷积核)、池化层Pooling、全连接层
LeNet-5、AlexNet、NIN、VGG(VGG16、VGG19)、GoogLeNet(Inception v1 v2 v3 v4)、Xception、ResNet、DenseNet
深度学习框架 TensorFlow：张量、自动求导机制、tf.keras模块(Model、layers、losses、optimizer、metrics)、多层感知机(即多层全连接神经网络 MLP)
Keras 实现卷积神经网络识别手写数字、迁移学习以及tf.keras.applications使用
Keras的Sequential/Functional API两种方式构建模型、保存模型/权重和恢复模型/权重、自定义 层Layer/损失函数Loss/评估指标Metric
callbacks回调函数(Checkpoint、TensorBoard)、tf.data、ImageDataGenerator
Tensorflow执行模式：Eager Execution动态图模式、Graph Execution图模式、@tf.function实现Graph Execution图模式、tf.Session
TensorFlow分布式训练：单机多卡训练MirroredStrategy、多机训练MultiWorkerMirroredStrategy
垃圾分类、EfficientNet模型、数据增强(ImageDataGenerator)、混合训练Mixup、Random Erasing随机擦除、标签平滑正则化、tf.keras.Sequence
垃圾分类、EfficientNet模型B0~B7、Rectified Adam(RAdam)、Warmup、带有Warmup的余弦退火学习率衰减
tf.saved_model.save模型导出、TensorFlow Serving模型部署、TensorBoard中的HParams 超参数调优
目标检测：Faster R-CNN、Faster RCNN接口
目标检测：YOLO V1、YOLO V2、YOLO V3 算法
KITTI自动驾驶数据集的训练和检测过程(人、车检测案例)、KITTI数据集的TFRecord格式存储、YOLO V3/Yolo V3 Tiny 迁移学习
目标分割：FCN全卷积网络、上采样upsample、反卷积/转置卷积Conv2DTranspose、跳跃连接skip layers实现融合预测fusion prediction
目标分割：DeepLab V1、DeepLab V2、DeepLab V3、DeepLab V3+、ASPP/ASPP+、Encoder-Decoder、CRF
OpenCV：图像读取/保存、绘制直线/圆形/矩形、获取并修改图像中的像素点、图像通道的拆分与合并
OpenCV 图像处理：几何变换、图像缩放、图像平移、图像旋转、仿射变换、透射变换、图像金字塔
OpenCV 图像处理：形态学操作、连通性、腐蚀和膨胀、开运算/闭运算、礼帽和黑帽
OpenCV 图像平滑：椒盐噪声、高斯噪声、平均滤波、高斯滤波、中值滤波
OPenCV：傅里叶变换、时域和频域、频谱和相位谱、傅里叶级数、离散傅里叶变换(DFT)、频域滤波、高通和低通滤波器、带通和带阻滤波器
OpenCV：轮廓检测、查找轮廓、绘制轮廓、凸包、图像的矩特征
OpenCV：图像分割、阈值分割、全阈值分割、自适应阈值分割、Otsu 阈值(大津法)、分水岭算法、GrabCut算法
OpenCV：边缘检测、Sobel检测算子、Laplacian算子、Canny边缘检测
OpenCV 图像特征提取：角点特征、Harris和Shi-Tomas算法、SIFT/SURF算法、Fast和ORB算法
OpenCV：视频追踪、meanshift算法、Camshift算法
OpenCV：人脸检测、Haar特征分类器、OpenCV中自带已训练好的检测器
自动驾驶：车道线检测、车速检测、实时通行跟踪、基于视频的车辆跟踪及流量统计
车流量检测实现：多目标追踪、卡尔曼滤波器、匈牙利算法、SORT/DeepSORT、yoloV3、虚拟线圈法、交并比IOU计算
多目标追踪：DBT、DFT、基于Kalman和KM算法的后端优化算法、SORT/DeepSORT、基于多线程的单目标跟踪的多目标跟踪算法KCF
相机校正、张氏标定法、极大似然估计/极大似然参数估计、牛顿法、高斯牛顿法、LM算法、sin/cos/tan/cot
单目标跟踪 Siamese系列网络：SiamFC、SiamRPN、one-shot跟踪、one-shotting单样本学习、DaSiamRPN、SiamRPN++、SiamMask
Adaboost 人脸检测：Haar特征及积分图、分类器的级联
关键点提取：face_recognition、疲劳检测、人脸校准、人脸数据库
调用摄像头使用face_recognition 或 opencv中haar人脸特征实时检测识别人脸、给人脸打马赛克/给人脸贴图
face_recognition、opencv中haar人脸特征：视频/图片 进行 人脸检测/人脸识别
使用face_recognition：摄像头实时给人脸打马赛克、疲劳检测、活体检测(张嘴检测)、计算两张人脸之间的相似度、人脸校准
NLP
Pytorch 基础模型：nn.Module、nn.Sequential、优化器类、常见的损失函数
优化算法：梯度下降算法BGD、随机梯度下降法SGD、小批量梯度下降MBGD、动量法、AdaGrad、RMSProp。避免过拟合/加速训练：Dropout、Batch Normalization
Pytorch 数据加载：Dataset、DataLoader、自带数据集(MNIST数据集)
Pytorch：jieba分词、hanlp分词、词性标注、命名实体识别、one-hot、Word2vec(CBOW、skipgram)、Word Embedding词嵌入、fasttext
Pytorch 文本数据分析方法(标签数量分布、句子长度分布、词频统计、关键词词云)、文本特征处理(n-gram特征、文本长度规范)、文本数据增强(回译数据增强法)
Pytorch：使用 Embedding 嵌入层 进行 新闻主题分类任务
Pytorch：RNN、LSTM、GRU、Bi-GRU、Bi-LSTM、梯度消失、梯度爆炸
Pytorch：嵌入层Embedding、EmbeddingBag
Pytorch：BatchNorm1d、BatchNorm2d、BatchNorm3d
Pytorch：RNN、LSTM、GRU 构建人名分类器（one-hot版本、Embedding嵌入层版本）
Pytorch：解码器端的Attention注意力机制、seq2seq模型架构实现英译法任务
Pytorch：Transformer(Encoder编码器-Decoder解码器、多头注意力机制、多头自注意力机制、掩码张量、前馈全连接层、规范化层、子层连接结构、pyitcast) part1
Pytorch：Transformer(Encoder编码器-Decoder解码器、多头注意力机制、多头自注意力机制、掩码张量、前馈全连接层、规范化层、子层连接结构、pyitcast) part2
Pytorch：transpose、view、t()、contiguous()
Pytorch：model.train、model.eval、with torch.no_grad
torch.hub.load自动下载预训练模型文件用以加载预训练模型
bert-base-uncased-pytorch_model.bin
微调脚本文件 transformers：transformers-cli login、transformers-cli upload
Pytorch：NLP 迁移学习、NLP中的标准数据集、NLP中的常用预训练模型、加载和使用预训练模型、huggingface的transfomers微调脚本文件
BahdanauAttention注意力机制：基于seq2seq的西班牙语到英语的机器翻译任务、解码器端的Attention注意力机制、seq2seq模型架构
BahdanauAttention注意力机制、LuongAttention注意力机制
tf.keras.losses.SparseCategoricalCrossentropy
python命令执行run_glue.py模型微调文件进行微调模型
tf.random.categorical、温度参数temperature
应用于bert模型的动态量化技术(使用动态量化技术对训练后的bert模型进行压缩)、使用huggingface中的预训练BERT模型进行微调、模型压缩技术中的动态量化与静态量化
保存没有压缩的原始模型和及其模型状态、保存压缩后的模型和及其模型状态、加载没有压缩的原始模型文件和及其模型状态、加载压缩后的模型和及其模型状态
图片的描述生成任务、使用迁移学习实现图片的描述生成过程、CNN编码器+RNN解码器(GRU)的模型架构、BahdanauAttention注意力机制、解码器端的Attention注意力机制
IMDB影评的情感分析任务：双层bi-LSTM模型(双向LSTM)
在线聊天的总体架构与工具介绍：Flask web、Redis、Gunicorn服务组件、Supervisor服务监控器、Neo4j图数据库
在线部分：werobot服务、主要逻辑服务、句子相关模型服务、BERT中文预训练模型+微调模型（目的：比较两句话text1和text2之间是否有关联）、模型在Flask部署
离线部分+在线部分：命名实体审核任务RNN模型、命名实体识别任务BiLSTM+CRF模型、BERT中文预训练+微调模型、werobot服务+flask
简述BERT模型的训练过程、BERT模型在推断过程中做了哪些性能优化、BERT模型在训练过程中做了哪些性能优化
fasttext模型在大量类别上能够快速训练的原因、为了提升fasttext模型的评估指标做了哪些优化
在某个模型训练过程中遇到的难题及其解决办法、对自动超参数调优方法的理解、模型部署时如何实现热更新、说一说最近看过的一篇论文
Encoder编码器-Decoder解码器框架 + Attention注意力机制
Pytorch：Transformer(Encoder编码器-Decoder解码器、多头注意力机制、多头自注意力机制、掩码张量、前馈全连接层、规范化层、子层连接结构、pyitcast) part1
Pytorch：Transformer(Encoder编码器-Decoder解码器、多头注意力机制、多头自注意力机制、掩码张量、前馈全连接层、规范化层、子层连接结构、pyitcast) part2
Pytorch：解码器端的Attention注意力机制、seq2seq模型架构实现英译法任务
BahdanauAttention注意力机制、LuongAttention注意力机制
BahdanauAttention注意力机制：基于seq2seq的西班牙语到英语的机器翻译任务、解码器端的Attention注意力机制、seq2seq模型架构
图片的描述生成任务、使用迁移学习实现图片的描述生成过程、CNN编码器+RNN解码器(GRU)的模型架构、BahdanauAttention注意力机制、解码器端的Attention注意力机制
机器翻译 MXNet（使用含注意力机制的编码器—解码器，即 Encoder编码器-Decoder解码器框架 + Attention注意力机制）
基于Seq2Seq的中文聊天机器人编程实践（Encoder编码器-Decoder解码器框架 + Attention注意力机制）
基于Transformer的文本情感分析编程实践（Encoder编码器-Decoder解码器框架 + Attention注意力机制 + Positional Encoding位置编码）
注意：这一文章“基于Transformer的文本情感分析编程实践（Encoder编码器-Decoder解码器框架 + Attention注意力机制 + Positional Encoding位置编码）”
该文章实现的Transformer的Model类型模型，实际是改造过的特别版的Transformer，因为Transformer的Model类型模型中只实现了Encoder编码器，
而没有对应实现的Decoder解码器，并且因为当前Transformer的Model类型模型处理的是分类任务，
所以我们此处只用了Encoder编码器来提取特征，最后通过全连接层网络来拟合分类。
机器学习（Sklearn）
人工智能概述、人工智能发展历程、人工智能主要分支、机器学习工作流程、完整机器学习项目的流程、机器学习算法分类、独立同分布、模型评估、深度学习简介
距离度量：欧式距离/曼哈顿距离/切比雪夫距离/闵可夫斯基距离/标准化欧氏距离/余弦距离/汉明距离/杰卡德距离/马氏距离
数据分割：留出法train_test_split、留一法LeaveOneOut、GridSearchCV(交叉验证法+网格搜索)、自助法
梯度下降：全梯度下降算法(FG)、随机梯度下降算法(SG)、小批量梯度下降算法(mini-batch)、随机平均梯度下降算法(SAG)。梯度下降法算法比较和进一步优化。
正则化线性模型：岭回归Ridge Regression(即线性回归的改进)、lasso回归(Lasso Regression)、弹性网络(Elastic Net)、Early Stopping
分类中解决类别不平衡问题：imbalanced-learn、过采样、欠采样
分类评估方法：精确率与召回率。ROC曲线与AUC指标、ROC曲线图绘制。
特征工程-特征提取：字典特征提取、文本特征提取、jieba分词处理、Tf-idf文本特征提取
集成学习：Bagging、随机森林、Boosting、GBDT
Sklearn：天池新人实战赛o2o优惠券使用预测 part1
Sklearn：天池新人实战赛o2o优惠券使用预测 part2
Sklearn：天池新人实战赛o2o优惠券使用预测 part3
个性化推荐系统
基于TF-IDF的特征提取技术：基于内容的电影推荐（物品画像、用户画像、为用户产生TOP-N推荐结果）
Hadoop、分布式文件系统HDFS、YARN、MAPREDUCE
Spark：Spark SQL、Spark Streaming
大数据
Cloudera Manager安装(只需要在NODE1主节点执行上述操作便会自动分配部署到各节点)
CDH 6.2.0 安装（先安装CM 6.2.0，再安装CDH 6.2.0）
配置 CentOS 7：安装 CDH 之前，必须进行以下配置
CDH的 hive on spark（spark on yarn）
非CDH的 hive on spark（spark on yarn）
CDH安装某个大数据组件的parcel安装包（例子：CDH安装impala的parcel安装包）
Hadoop、分布式文件系统HDFS、YARN、MAPREDUCE
Permission denied：System.setProperty(“HADOOP_USER_NAME”, “用户名”)
Hadoop底层原理、Hadoop配置、Hadoop命令 和 Hadoop API 的基本使用、Hadoop案例代码
MR程序运行的三种方式：window本地运行、windwo推送程序到linux集群运行、linux集群运行
集群中运行MR程序/spark程序时，引用不到/找不到集群中的jar包
row_number() OVER(PARTITION BY)
case when 条件判断函数 和 row_number 排序函数
Spark：Spark SQL、Spark Streaming
Spark Streaming 整合 Flume（Spark读取Flume）
Spark Streaming 开窗函数 reduceByKeyAndWindow
Spark Streaming 整合 Kafka（Spark读取Kafka）
Spark(SparkSql) 写数据到 MySQL中（Spark读取TCP socket/文件）
spark读取kudu表导出数据为parquet文件（spark kudu parquet）
spark提交命令 spark-submit 的参数 executor-memory、executor-cores、num-executors、spark.default.parallelism分析
spark程序打包为jar包，并且导出所有第三方依赖的jar包
kafka 生产/消费API、offset管理/原理、kafka命令
oozie + hue 执行 SQL脚本、SQL 脚本中传入参数 ${partdt} 的使用
搜索引擎：Elasticsearch、Solr、Lucene
window、ubuntu双系统的引导界面消失了/选择切换双系统的界面消失了的最快速解决办法
CDH/CM：创建集群多节点，通过 VMware 安装 Centos 7 虚拟机 CentOS Linux release 7.6.1810
Flink报错：does not exist or the user running Flink (‘root‘) has insufficient permissions to access it
Flink报错：NoSuchMethodError: scala.Predef$.refArrayOps
Flink集群安装：Flink的scala程序打包和部署运行
配置 prometheus、pushgateway 监控 Flink metrics指标
prometheus + pushgateway + grafana 监控 Flink
用户画像
安装
安装双系统：win10安装Ubuntu 18.04.4、ubuntu安装NVIDIA显卡驱动
Ubuntu 安装 CUDA、cuDNN、anaconda、tensorflow、pytorch、JDK1.8
Anaconda3 python 3.7、TensorFlow2、CUDA10、cuDNN7.6.5
window下安装 Keras、TensorFlow（先安装CUDA、cuDNN，再安装Keras、TensorFlow）
强化学习平台安装 Mujoco、mujoco-py、gym、baseline
linux Centos 安装 Tensorflow GPU版本 安装教程
window下 安装 anaconda（python 3.6 / python 3.7）
ubuntu 18 安装后 必须安装vmware tools 和配置 ifconfig、ssh
ubuntu 18 安装 anaconda python 3.7
数据库
MySQL主键、创建索引、UNION 和 UNION ALL
mysql 事务、索引、锁、分区/分表、sql优化、查询优化
Redis 集群搭建、Spring Data Redis使用
Redis 集群搭建、Spring Data Redis使用
java Jedis api：redis集群api JedisCluster、redis连接池api JedisPool
redis报错信息：CLUSTERDOWN Hash slot not served 和 Not all 16384 slots are covered by nodes
mongodb：安装cmake、mongodb、mongodb的C驱动、C++驱动
报错解决
ValueError: Object arrays cannot be loaded when allow_pickle=False
报错 ValueError: setting an array element with a sequence.
报错AttributeError: ‘Tensor’ object has no attribute ‘numpy’
报错：ValueError: Duplicate plugins for name projector
报错：No registered ‘swish_f32’ OpKernel for GPU devices compatible with node
报错：tensorflow.python.eager.core._FallbackException
报错：Make sure that your dataset or generator can generate at least `steps_per_epoch * epochs`
报错：报错文件路径 \Anaconda3\lib\multiprocessing\…
报错：ResourceExhaustedError OOM when allocating
报错：AttributeError: module ‘tensorflow_core._api.v2.io.gfile’ has no attribute ‘get_filesystem’
报错：RuntimeError: Expected object of backend CUDA but got backend CPU for argument #3 ‘index’
报错：RuntimeError: Adam does not support sparse gradients, please consider SparseAdam instead
RuntimeError: exp_vml_cpu not implemented for ‘Long’
RuntimeError: expected device cpu and dtype Float but got device cpu and dtype Long
Expected tensor for argument #1 ‘indices’ to have scalar type Long;but got torch.IntTensor instead
报错：TypeError: unexpected keyword argument ‘autotuneValidationFile’
linux执行脚本文件 /usr/bin/env: “python\r”: 没有那个文件或目录 /usr/bin/env: “python\r”: No such file or directory
AttributeError: module ‘torch’ has no attribute ‘quantization’
ModuleNotFoundError: No module named “pip”
报错 error: (-215:Assertion failed) !_src.empty() in function cv::cvtColor
AttributeError: DataFrame object has no attribute dtype
DataConversionWarning: Data was converted to boolean for metric jaccard。warnings.warn(msg, DataConve
Warning警告到底要不要解决、Warning警告潜在的问题
UndefinedMetricWarning: Precision and F-score are ill-defined and being set to 0.0 in labels with no
Java
nginx安装、nginx反向代理/负载均衡、Lua、LuaJIT、openresty、lua-nginx-module、ngx_devel_kit 的安装
nginx 自动解压gzip压缩数据的两种方式：nginx自动解压、后台java程序解压
nginx+keepalived：局域网内网和公网外网 搭建nginx HA 双机热备 高可用
nginx 配置获取GET请求参数、POST请求参数、nginx配置开启跨域访问、nginx+keepalived配置主备切换/双机热备、nginx优化配置
Java 线程池 newCachedThreadPool缓存线程池、newFixedThreadPool固定线程池
java ScheduledExecutorService、Timer 多线程与定时任务的结合使用
Tomcat报错：Invalid character found in method name. HTTP method names must be tokens
Java 多进程、多线程、多线程中的共享变量的安全问题、同步锁、线程同步、ThreadLocal
java 压缩、解压缩时报错 Unexpected end of ZLIB input stream
java gzip压缩/ungzip解压缩、base64 encode编码/decode编码、URLEncode.encode编码/URLDecoder.decode编码
spring boot 项目搭建、并使用Logger日志记录
搭建tomcat中运行的java项目、并使用Logger日志记录
try catch finally 中有 return语句时的执行顺序
java 判断两个日期时间/两个时间戳之间相隔多少天，也可用于获取从1970年以来到某个时间之间相隔多少天
发布者：全栈程序员-用户IM，转载请注明出处：https://javaforall.cn/140917.html原文链接：https://javaforall.cn
【正版授权，激活自己账号】： Jetbrains全家桶Ide使用，1年售后保障，每天仅需1毛
【官方授权 正版激活】： 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...