BeautifulSoup使用

Beautiful Soup

Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库。
它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式。

BeautifulSoup 不仅支持 HTML 解析器，还支持一些第三方的解析器，如 lxml，XML，html5lib 但是需要安装相应的库。如果我们不安装，则 Python 会使用 Python 默认的解析器，其中 lxml 解析器更加强大，速度更快，推荐安装。
官方文档

展开全文 >>

mysql库选型方案

驱动选择

分C实现的驱动和python实现的驱动，前者实现复杂但是性能好，后者实现简单性能稍微比C的差一点（一般基本无碍）。

  • 选择

    1
    1.我们使用数据库的时候，想清楚自己要那种驱动，然后去寻找自己合适的驱动框架。
    2
    eg:
    3
        # mysql驱动框架
    4
        mysqldb、pymysql、mysqlconnector、oursql
    5
        # postgreSQl驱动框架
    6
        psycopg2、pg8000
    7
        # Oracle驱动框架
    8
        cx_oracle
    9
        # MSSQL驱动框架
    10
        pyodbc、pymssql

展开全文 >>

mitmproxy使用和优化

mitmproxy

用于 MITM 的 proxy，MITM 即中间人攻击（Man-in-the-middle attack）用于中间人攻击的代理首先会向正常的代理一样转发请求，保障服务端与客户端的通信，其次，会适时的查、记录其截获的数据，或篡改数据，引发服务端或客户端特定的行为。

*anyproxy这个工具也跟mitmproxy功能类似，不过是使用js编写脚本。

展开全文 >>

HTTPServer和ApplicationServer介绍

HTTP Server

严格的来说，Apache/Nginx 应该叫做「HTTP Server」,类似Tomcat、WebLogic、(flask、Django内部自带的Web服务器)这些称为「Application Server」更合适。

一个 HTTP Server 关心的是 HTTP 协议层面的传输和访问控制，所以在 Apache/Nginx 上你可以看到代理、负载均衡等功能。客户端通过 HTTP Server 访问服务器上存储的资源（HTML 文件、图片文件等等）。通过 CGI 技术，也可以将处理过的内容通过 HTTP Server 分发，但是一个 HTTP Server 始终只是把服务器上的文件如实的通过 HTTP 协议传输给客户端。

展开全文 >>

macOS设置L2TP类型的VPN转发指定的流量

VPN(L2TP)

在macOS系统下常常用到L2TP类型的VPN来接入公司网络. 但是通常情况下, 这种类型的VPN一旦接入, 会导致本机所有的流量流经该VPN. 包括对外网资源的访问. 如果公司外网较慢, 或者公司内网没有网络， 会严重影响本机访问外网的速度。

之所以开启了VPN后会这样，是因为VPN软件优先使用其路由的标准技巧（添加路由，让路由共同覆盖了所有IP地址，但是每条路由都比默认路由更具体，因此系统决定优先级的时候，他们将会获胜，获得高优先级）

展开全文 >>

Celery的multi命令

celery multi命令

在生产环境中，需要在后台运行worker。我们可以用supervistor,也可以用celery自带的multi进行启动守护进程。

celery multi不存储有关工作程序的信息，因此需要在重新启动时使用相同的命令行参数。停止时仅必须使用相同的pidfile和logfile参数

注意

默认情况下，它将在当前目录中创建pid和日志文件，以防止多个工作程序相互启动，建议您将它们放在专用目录中

展开全文 >>

Celery入门和简单使用

Celery(分布式任务队列)

Celery是一个简单、灵活、高可用、高性能的开源（BSD许可）分布式任务处理系统，专注于实时处理的任务队列管理，同时也支持任务调度。

Celery基于Python实现（但是该协议可以用任何语言实现），跟包括Django、Pyramid、Pylons、Flask、Tornado等Web框架都无缝集成，有庞大的用户与贡献者社区。Celery需要消息传输才能发送和接收消息（如：RabbitMQ、Redis、Amazon SQS、Zookeeper）。Celery可以单机运行，也可以在多台机器上运行，甚至可以跨越数据中心运行。
官方文档

简单理解原理就是，把它看成是一个自己实现的python程序，里面监听者rabbitmq的消息队列，收到某种消息就执行对应的方法（看成是worker），如果需要存储值可以存在redis里。然后另一个程序（比如：flask）充当生产者一样，当需要哪些异步完成的时候，就通过消息队列发出去就行了，如果需要获取值就去redis取。不过呢celery实现的更复杂也有更多新功能和玩法。

展开全文 >>

魔法代码

with语法

会话管理，在Python 2.5中，为了代码利用定义了一个新的关键词 with 语句。会话控制在Python中不罕见(之前是作为库的一部分被实现)，直到 PEP343 被添加后。它被成为一级语言结构

展开全文 >>

python缓存机制

python内存地址

  • 小整数池（节省内存，提高执行效率）

    Python实现int的时候有个小整数池。为了避免因创建相同的值而重复申请内存空间所带来的效率问题， Python解释器会在启动时创建出小整数池，范围是[-5,256]，该范围内的小整数对象是全局解释器范围内被重复使用，永远不会被垃圾回收机制回收

展开全文 >>

tag:

    缺失模块。
    1、请确保node版本大于6.2
    2、在博客根目录（注意不是yilia根目录）执行以下命令：
    npm i hexo-generator-json-content --save

    3、在根目录_config.yml里添加配置： 

      jsonContent:
    meta: false
    pages: false
    posts:
      title: true
      date: true
      path: true
      text: false
      raw: false
      content: false
      slug: false
      updated: false
      comments: false
      link: false
      permalink: false
      excerpt: false
      categories: false
      tags: true

优秀的判断力来自经验，<br>但经验来自于错误的判断。<br><br>~余生只想爱胖爱生活<br><br>真正的勇士敢于直面惨淡的人生，<br>敢于正视淋漓的鲜血。