利用python进行数据分析-3.Python高级语法

发表于 2021-09-22 更新于 2023-10-11 分类于数据分析
本文字数： 30k 阅读时长 ≈ 27 分钟

本章讨论Python的内置功能，这些功能本书会用到很多。虽然扩展库，比如pandas和Numpy，使处理大数据集很方便，但它们是和Python的内置数据处理工具一同使用的。

我们会从Python最基础的数据结构开始：元组、列表、字典和集合。然后会讨论创建你自己的、可重复使用的Python函数。最后，会学习Python的文件对象，以及如何与本地硬盘交互。

利用python进行数据分析-2.Python语法基础，IPython和Jupyter

发表于 2021-09-22 更新于 2023-10-11 分类于数据分析
本文字数： 24k 阅读时长 ≈ 22 分钟

第2章 Python语法基础，IPython和Jupyter Notebooks

当我在2011年和2012年写作本书的第一版时，可用的学习Python数据分析的资源很少。这部分上是一个鸡和蛋的问题：我们现在使用的库，比如pandas、scikit-learn和statsmodels，那时相对来说并不成熟。2017年，数据科学、数据分析和机器学习的资源已经很多，原来通用的科学计算拓展到了计算机科学家、物理学家和其它研究领域的工作人员。学习Python和成为软件工程师的优秀书籍也有了。

阅读全文 »

Scikit-Learn与TensorFlow机器学习实用指南-1

发表于 2021-09-21 更新于 2024-01-03
本文字数： 3.1k 阅读时长 ≈ 3 分钟

一、简介

很多机器学习的问题都会涉及到有着几千甚至数百万维的特征的训练实例。这不仅让训练过程变得非常缓慢，同时还很难找到一个很好的解，我们接下来就会遇到这种情况。这种问题通常被称为维数灾难（curse of dimentionality）。

幸运的是，在现实生活中我们经常可以极大的降低特征维度，将一个十分棘手的问题转变成一个可以较为容易解决的问题。例如，对于 MNIST 图片集（第 3 章中提到）：图片四周边缘部分的像素几乎总是白的，因此你完全可以将这些像素从你的训练集中扔掉而不会丢失太多信息。图 7-6 向我们证实了这些像素的确对我们的分类任务是完全不重要的。同时，两个相邻的像素往往是高度相关的：如果你想要将他们合并成一个像素（比如取这两个像素点的平均值）你并不会丢失很多信息。

阅读全文 »

利用python进行数据分析-1.简介

发表于 2021-09-21 更新于 2023-10-11 分类于数据分析
本文字数： 10k 阅读时长 ≈ 9 分钟

第1章准备工作

1.1 本书的内容

本书讲的是利用Python进行数据控制、处理、整理、分析等方面的具体细节和基本要点。我的目标是介绍Python编程和用于数据处理的库和工具环境，掌握这些，可以让你成为一个数据分析专家。虽然本书的标题是“数据分析”，重点却是Python编程、库，以及用于数据分析的工具。这就是数据分析要用到的Python编程。

阅读全文 »

机器学习路线

发表于 2021-09-17 更新于 2023-10-11
本文字数： 598 阅读时长 ≈ 1 分钟

机器学习路线图

入门课程

Machine Learning | Coursera
入门首选，推荐只认识“机器学习”四个字但还不知道它是什么的学习这些年机器学习的大多数年轻人靠这个入门。具体提纲我就不列了，免得增加篇幅。建议是直接按顺序一课课学，不要着急。在学完这个课程前，不要学后面的。
关于这门课的官方介绍是：本课程将广泛介绍机器学习、数据挖掘和统计模式识别。相关主题包括：(i) 监督式学习（参数和非参数算法、支持向量机、核函数和神经网络）。(ii) 无监督学习（集群、降维、推荐系统和深度学习）。(iii) 机器学习实例（偏见/方差理论；机器学习和AI领域的创新）。课程将引用很多案例和应用，您还需要学习如何在不同领域应用学习算法，例如智能机器人（感知和控制）、文本理解（网络搜索和垃圾邮件过滤）、计算机视觉、医学信息学、音频、数据库挖掘等领域。这门课基本涵盖了机器学习的主要知识点，例如：线性回归、逻辑回归、支持向量机、神经网络、K-Means、异常检测等等。而且课程中没有复杂的公式推导和理论分析。Ng 的目的是让机器学习初学者能够快速对整个机器学习知识点有比较整体的认识，便于快速入门。

CS231n: Convolutional Neural Networks for Visual RecognitionStanford
最受欢迎的课之一.
机器学习体系图

引用链接

面试技巧
 面经
 面试题
 优质课程与资料汇总
 优质电子书籍资料汇总

自己写一个数据库

发表于 2019-01-01 更新于 2023-10-11
本文字数： 657 阅读时长 ≈ 1 分钟

godb

本项目中，数据库就是本地一个文件夹，表也是数据库下的目录，里面的数据就是表文件夹下的文件，
表目录下的scheme.json保存着表结构
表目录下data0.json data1.json分别存储着数据，每个文件里的数据不超过1000行。

设计逻辑

代码分为client端和server端
server端开启端口，接收指令，并执行指令
client端连接端口，发送指令
server端分层执行
- 解析语句，判断类型，建库、建表、插入数据等等
- 不同类型语句进入不同service执行，互不干扰
- 验证语句，返回数据

建库

暂时建表只支持这种格式，实际实现是在项目tmp目录下新建一个db1的文件夹

1	create database db1

建表

暂时只支持 ‘id’ 列名， varchar（255）类型长度，以及默认值
以及主键
实际实现是在数据库目录下新建一个表名的文件夹，并有一个scheme.json文件记录各列属性

1
2
3

create table  table1 (`id` varchar(255) DEFAULT NULL,
    PRIMARY KEY (`id`)
  );

插入数据

支持语句格式,value 只支持一个括号，values支持多个括号多行数据插入
实际实现是在表文件夹下，新建data(i).json文件，里面存储具体数据，i是预留数据量大的情况下的分文件存储，每个文件暂时最多支持存储1000行。

1	INSERT INTO feature_conf values(1)

// TODO

[ ] 增加索引文件，指向data(i).json并指明多少列
[ ] 索引文件分层，类似B+树存储

String.intern方法理解

发表于 2018-07-27 更新于 2023-10-11
本文字数： 1k 阅读时长 ≈ 1 分钟

intern作用

如果常量池中存在当前字符串, 就会直接返回当前字符串. 如果常量池中没有此字符串, 会将此字符串放入常量池中后, 再返回

先明白含义是什么，再看一道题，copy美团的文章，详见参考一

public static void main(String[] args) {
    String s = new String("1");
    s.intern();
    String s2 = "1";
    System.out.println(s == s2);

    String s3 = new String("1") + new String("1");
    s3.intern();
    String s4 = "11";
    System.out.println(s3 == s4);
}

jdk7,8下false true
jdk6以下false false

接下来把intern下移一行

public static void main(String[] args) {

    String s = new String("1");
    String s2 = "1";
    s.intern();
    System.out.println(s == s2);

    String s3 = new String("1") + new String("1");
    String s4 = "11";
    s3.intern();
    System.out.println(s3 == s4);
}

jdk7,8下false false
jdk6以下false false

看完答案后，我是很懵逼的，我有看了美团文章的解释，瞬间，更懵逼了。美团文章解释的其实挺好的，但是没有抓住重点。
详细论证两篇文章都有，基本都能看明白（看不明白可以找我交流），重点在两点：

jdk7、8和6有什么不同： 7以上将常量池从perm区移到了heap中
jdk7、8第一个程序中为什么一个是false，一个是true，jdk7以后常量去不仅仅可以保存对象，也可以保存对象的引用，所以s3的引用被保存到常量区中，s4直接在常量区找到了对象的引用，所以为true。

有兴趣研究的同学，可以联系我，微信 ryry89，邮箱earyantLee@gmail.com

参考一
 参考二

谷歌jib工具试用

发表于 2018-07-18 更新于 2023-10-11
本文字数： 1.6k 阅读时长 ≈ 1 分钟

Jib

好久没写blog了，最近看到google新开源的工具心痒痒，试着玩下~
首先什么是Jib，：

Jib 是 Google 开发的可以直接构建 Java 应用的 Docker 和 OCI 镜像的类库，以 Maven 和 Gradle 插件形式提供。
通过 Jib，Java 开发者可以使用他们熟悉的 Java 工具来构建容器。Jib 是一个快速而简单的容器镜像构建工具，它负责处理将应用程序打包到容器镜像中所需的所有步骤。它不需要你编写 Dockerfile 或安装 Docker，而且可以直接集成到 Maven 和 Gradle中 —— 只需要将插件添加到构建中，就可以立即将 Java 应用程序容器化。

构建流程

Docker构建的复杂流程
Jib构建流程

从此可以告别繁琐的Dockerfile啦~~

上手

首先配置jib插件
maven:

<plugin>
  <groupId>com.google.cloud.tools</groupId>
  <artifactId>jib-maven-plugin</artifactId>
  <version>0.9.6</version>
  <configuration>
    <from>
          <image>
                        registry.hub.docker.com/adoptopenjdk/openjdk8
          </image>
    </from>
    <to>
      <image>registry.hub.docker.com/earyant/earyant</image>
    </to>
  </configuration>
</plugin>

gradle

plugins {
  id 'com.google.cloud.tools.jib' version '0.9.6'
}
jib.to.image = 'registry.hub.docker.com/earyant/earyant'
jib.from.image = 'registry.hub.docker.com/adoptopenjdk/openjdk8'

需要注意的是image不加域名的话，默认是gcr.io,google Cloud下的镜像，需要梯子，所以没有梯子的话，请使用 registry.hub.docker.com,阿里云加速同理

如果不加from标签，也是默认访问grc.io去下载jdk镜像，emmmm，同样需要梯子，报错如下：

1	Build to Docker daemon failed: Connect to gcr.io/108.177.97.82:443 timed out

所以记得加上from镜像标签哦~~

如果报错信息如下，请先登录docker login -name=earyant registry.hub.docker.com ，如果没有注册过，请到docker官网注册~
Retrieving registry credentials for registry.hub.docker.com

Build

build到远程仓库
- gradle jib
- mvn compile jib:build
本地运行（确保本地docker已运行）
- mvn compile jib:dockerBuild
- gradle jibDockerBuild

运行
本地镜像查看如下：
docker images

1	earyant/earyant latest e34b4cad637b 48 years ago 367MB

docker run -p 8880:8880 -it —rm —name earyant registry.hub.docker.com/earyant/earyant

访问 http://localhost:8880 即可纵享丝滑，开心~~~

持续实战

发表于 2018-06-01 更新于 2023-10-11
本文字数： 98 阅读时长 ≈ 1 分钟

[ ] mysql主从配置
[ ] mybatis自动生成代码
[ ] 读写分离，与主从配置相关联
[ ] 分布式redis缓存
[ ] tomcat session共享、session绑定
[ ] 分布式锁：redis、mysql

jvm系列

发表于 2018-05-12 更新于 2023-10-11
本文字数： 4.2k 阅读时长 ≈ 4 分钟

什么是类的加载

类的加载指的是将类的.class文件中的二进制数据读入到内存中，将其放在运行时数据区的方法区内，然后在堆区创建一个java.lang.Class对象，用来封装类在方法区内的数据结构。类的加载的最终产品是位于堆区中的Class对象，Class对象封装了类在方法区内的数据结构，并且向Java程序员提供了访问方法区内的数据结构的接口。
类的生命周期
- 加载，查找并加载类的二进制数据，在Java堆中也创建一个java.lang.Class类的对象
- 连接，连接又包含三块内容：验证、准备、初始化。1）验证，文件格式、元数据、字节码、符号引用验证；2）准备，为类的静态变量分配内存，并将其初始化为默认值；3）解析，把类中的符号引用转换为直接引用
- 初始化，为类的静态变量赋予正确的初始值
- 使用，new出对象程序中使用
- 卸载，执行垃圾回收
类加载器
- 启动类加载器：Bootstrap ClassLoader，负责加载存放在JDK\jre\lib(JDK代表JDK的安装目录，下同)下，或被-Xbootclasspath参数指定的路径中的，并且能被虚拟机识别的类库
- 扩展类加载器：Extension ClassLoader，该加载器由sun.misc.Launcher$ExtClassLoader实现，它负责加载DK\jre\lib\ext目录中，或者由java.ext.dirs系统变量指定的路径中的所有类库（如javax.*开头的类），开发者可以直接使用扩展类加载器。
- 应用程序类加载器：Application ClassLoader，该类加载器由sun.misc.Launcher$AppClassLoader来实现，它负责加载用户类路径（ClassPath）所指定的类，开发者可以直接使用该类加载器

双亲委派模型

\-  全盘负责，当一个类加载器负责加载某个Class时，该Class所依赖的和引用的其他Class也将由该类加载器负责载入，除非显示使用另外一个类加载器来载入

- 父类委托，先让父类加载器试图加载该类，只有在父类加载器无法加载该类时才尝试从自己的类路径中加载该类

- 缓存机制，缓存机制将会保证所有加载过的Class都会被缓存，当程序中需要使用某个Class时，类加载器先从缓存区寻找该Class，只有缓存区不存在，系统才会读取该类对应的二进制数据，并将其转换成Class对象，存入缓存区。这就是为什么修改了Class后，必须重启JVM，程序的修改才会生效

方法区和堆是所有线程共享的内存区域；而java栈、本地方法栈和程序计数器是运行是线程私有的内存区域。

Java堆（Heap）,是Java虚拟机所管理的内存中最大的一块。Java堆是被所有线程共享的一块内存区域，在虚拟机启动时创建。此内存区域的唯一目的就是存放对象实例，几乎所有的对象实例都在这里分配内存。
方法区（Method Area）,方法区（Method Area）与Java堆一样，是各个线程共享的内存区域，它用于存储已被虚拟机加载的类信息、常量、静态变量、即时编译器编译后的代码等数据。
程序计数器（Program Counter Register）,程序计数器（Program Counter Register）是一块较小的内存空间，它的作用可以看做是当前线程所执行的字节码的行号指示器。
JVM栈（JVM Stacks）,与程序计数器一样，Java虚拟机栈（Java Virtual Machine Stacks）也是线程私有的，它的生命周期与线程相同。虚拟机栈描述的是Java方法执行的内存模型：每个方法被执行的时候都会同时创建一个栈帧（Stack Frame）用于存储局部变量表、操作栈、动态链接、方法出口等信息。每一个方法被调用直至执行完成的过程，就对应着一个栈帧在虚拟机栈中从入栈到出栈的过程。
本地方法栈（Native Method Stacks）,本地方法栈（Native Method Stacks）与虚拟机栈所发挥的作用是非常相似的，其区别不过是虚拟机栈为虚拟机执行Java方法（也就是字节码）服务，而本地方法栈则是为虚拟机使用到的Native方法服务。

对象分配规则

对象优先分配在Eden区，如果Eden区没有足够的空间时，虚拟机执行一次Minor GC。
大对象直接进入老年代（大对象是指需要大量连续内存空间的对象）。这样做的目的是避免在Eden区和两个Survivor区之间发生大量的内存拷贝（新生代采用复制算法收集内存）。
长期存活的对象进入老年代。虚拟机为每个对象定义了一个年龄计数器，如果对象经过了1次Minor GC那么对象会进入Survivor区，之后每经过一次Minor GC那么对象的年龄加1，知道达到阀值对象进入老年区。
动态判断对象的年龄。如果Survivor区中相同年龄的所有对象大小的总和大于Survivor空间的一半，年龄大于或等于该年龄的对象可以直接进入老年代。
空间分配担保。每次进行Minor GC时，JVM会计算Survivor区移至老年区的对象的平均大小，如果这个值大于老年区的剩余值大小则进行一次Full GC，如果小于检查HandlePromotionFailure设置，如果true则只进行Monitor GC,如果false则进行Full GC。

对象存活判断

判断对象是否存活一般有两种方式：

引用计数：每个对象有一个引用计数属性，新增一个引用时计数加1，引用释放时计数减1，计数为0时可以回收。此方法简单，无法解决对象相互循环引用的问题。
可达性分析（Reachability Analysis）：从GC Roots开始向下搜索，搜索所走过的路径称为引用链。当一个对象到GC Roots没有任何引用链相连时，则证明此对象是不可用的，不可达对象。

GC算法

GC最基础的算法有三种：标记 -清除算法、复制算法、标记-压缩算法，我们常用的垃圾回收器一般都采用分代收集算法。
标记 -清除算法，“标记-清除”（Mark-Sweep）算法，如它的名字一样，算法分为“标记”和“清除”两个阶段：首先标记出所有需要回收的对象，在标记完成后统一回收掉所有被标记的对象。
复制算法，“复制”（Copying）的收集算法，它将可用内存按容量划分为大小相等的两块，每次只使用其中的一块。当这一块的内存用完了，就将还存活着的对象复制到另外一块上面，然后再把已使用过的内存空间一次清理掉。
标记-压缩算法，标记过程仍然与“标记-清除”算法一样，但后续步骤不是直接对可回收对象进行清理，而是让所有存活的对象都向一端移动，然后直接清理掉端边界以外的内存
分代收集算法，“分代收集”（Generational Collection）算法，把Java堆分为新生代和老年代，这样就可以根据各个年代的特点采用最适当的收集算法。

垃圾回收器

Serial收集器，串行收集器是最古老，最稳定以及效率高的收集器，可能会产生较长的停顿，只使用一个线程去回收。
ParNew收集器，ParNew收集器其实就是Serial收集器的多线程版本。
Parallel收集器，Parallel Scavenge收集器类似ParNew收集器，Parallel收集器更关注系统的吞吐量。
Parallel Old 收集器，Parallel Old是Parallel Scavenge收集器的老年代版本，使用多线程和“标记－整理”算法
CMS收集器，CMS（Concurrent Mark Sweep）收集器是一种以获取最短回收停顿时间为目标的收集器。
G1收集器，G1 (Garbage-First)是一款面向服务器的垃圾收集器,主要针对配备多颗处理器及大容量内存的机器. 以极高概率满足GC停顿时间要求的同时,还具备高吞吐量性能特征

在Java语言中，GC Roots包括：

虚拟机栈中引用的对象。
方法区中类静态属性实体引用的对象。
方法区中常量引用的对象。
本地方法栈中JNI引用的对象。

调优命令

Sun JDK监控和故障处理命令有jps jstat jmap jhat jstack jinfo

jps，JVM Process Status Tool,显示指定系统内所有的HotSpot虚拟机进程。
jstat，JVM statistics Monitoring是用于监视虚拟机运行时状态信息的命令，它可以显示出虚拟机进程中的类装载、内存、垃圾收集、JIT编译等运行数据。
jmap，JVM Memory Map命令用于生成heap dump文件
jhat，JVM Heap Analysis Tool命令是与jmap搭配使用，用来分析jmap生成的dump，jhat内置了一个微型的HTTP/HTML服务器，生成dump的分析结果后，可以在浏览器中查看
jstack，用于生成java虚拟机当前时刻的线程快照。
jinfo，JVM Configuration info 这个命令作用是实时查看和调整虚拟机运行参数。

主要关注点：

GC日志分析
调优命令
调优工具

参考
 参考

##jvm系列(七):jvm调优-工具篇

调优工具

常用调优工具分为两类,jdk自带监控工具：jconsole和jvisualvm，第三方有：MAT(Memory Analyzer Tool)、GChisto。
jconsole，Java Monitoring and Management Console是从java5开始，在JDK中自带的java监控和管理控制台，用于对JVM中内存，线程和类等的监控
jvisualvm，jdk自带全能工具，可以分析内存快照、线程快照；监控内存变化、GC变化等。
MAT，Memory Analyzer Tool，一个基于Eclipse的内存分析工具，是一个快速、功能丰富的Java heap分析工具，它可以帮助我们查找内存泄漏和减少内存消耗
GChisto，一款专业分析gc日志的工具

第2章 Python语法基础，IPython和Jupyter Notebooks

第1章 准备工作

1.1 本书的内容

机器学习路线图

入门课程

引用链接

godb

设计逻辑

建库

建表

插入数据

intern作用

Jib

构建流程

上手

对象分配规则

对象存活判断

GC算法

垃圾回收器

调优命令

主要关注点：

第1章准备工作