lushang 发布的文章

Discuz！ 是非常知名的论坛和门户建站平台。但是其对电子邮箱有32位的限制，任何超过32位的邮箱都会被判断为无效邮箱。但是，实际上现在会有一些邮箱会超过这一限制，因此本着对所有用户负责人的态度，解除这一限制就成了当务之急。

经过粗略的研究Discuz！的form有效性验证是form内容提交到网站后，后台（php语言部分）进行验证，再将结果通过Ajax（注册时采用）或者召唤相应页面（注册后手动修改邮箱时采用）的方式返回到网页前端。同时，通过对3.2版本的Discuz！数据库研究发现，其默认的邮箱字段长度位255为可变字符（varchar）。因此，只要我们修改后台相应的php验证模块，我们可以实现最长255位的邮箱支持。不过实际上很难有人注册这种邮箱，我们的目标是为正常人类服务，因此将邮箱长度设置为64位.下面是步骤，就两步：

  1. 修改注册流程的后台php验证代码：
    修改\discuz\source\function\function_core.php第370行函数「isemail」中最大长度32为64
  2. 修改手动修改邮箱流程的后台php验证代码：
    修改\discuz\source\function\function_member.php第285行函数「checkemail($email)」中「strlen($email) > 32」为「strlen($email) > 64」.

注：文章基于python3，路上通过这篇文章中的内容，写了20多行代码，实现定时抓取某网页某几个数据的目标

准备工作

要使用python抓取网页，可以使用两个包：requests用于下载网页，而BeautifulSoup则对网页进行结构化解析。如果你在电脑上安装了pip，则可以使用下面的命令下载安装这两个包：

pip install requests beautifulsoup4

或者按照引用文章1将两个包安装到虚拟环境。
（实际上路上通过分析发现，在路上的需求里，第二个包没有用到。。）

抓取网页

抓取网页及其简单，假如我要抓取「https://pip.pypa.io/en/stable/」这个网页，则使用：

import requests
response = requests.get(‘https://pip.pypa.io/en/stable/')

在函数返回后，就能从response.text中获得这个页面的文本数据（html或者其他文本）。

抓取数据后，使用BeautifulSoup对文本数据处理，便会得结构化的HTML，然后就可以利用BeautifulSoup强大的HTML处理能力抓取相关内容了。但是路上经过分析发现需要抓取的内容位于某xx.js文件内，是json变量。所以BeautifulSoup没能使用的上。。

使用python处理JSON内容

python原生支持JSON，使用json.loads(JSONdata)将JSON转换为xml，然后使用xml相关技术得到相关数据。具体步骤略去。
python处理JSON可以参见这篇文章。

array_push用法

将一个或多个单元压入数组的末尾（入栈）
array_push() 将 array 当成一个栈，并将传入的变量压入 array 的末尾。array 的长度将根据入栈变量的数目增加。
这里是php.net上的更多内容。

array_push注意事项

  1. 如果用 array_push() 来给数组增加一个单元，还不如用 $arrayXX[] = $dataXX，因为这样没有调用函数的额外负担。
  2. 对于关联数组的push，使用$data[$key] = $value;会更加方便

数据科学是一门跨学科的专业，在「大数据」的背景（噱头）下，看起来很有前途

根据Drew Conway给出的数据科学的一个文氏图，可以看出数据科学是Hacking Skills, Math & Statistics Knowledge 以及Substantive Expertise的大交集。

  ![Data_Science_VD.png][2]

要学习数据科学，路上认为可以从上面的文氏图来推算应该的学习内容，它们应该包括：

  1. Hacking Skills （计算机知识）

    • 基本的编程语言和与数据处理相关的包/框架，例如python语言
    • 数据处理框架，比如处理大数据的利器：Hadoop

  2. Math & Statistics Knowledge （数理统计知识）

    • 统计学（概率统计）
    • （机器）学习理论

  3. 数据科学综合知识

    • 数据挖掘等
  1. 1
  2. ...
  3. 7
  4. 8
  5. 9
  6. 10
  7. 11
  8. 12
  9. 13