专注于码农的数据爬取和分析

最新发布 第2页

灯塔水母期待马卡瑞纳

About me

Selenium 模拟填写web表单

Selenium 模拟填写web表单
0x01 需求的提出 作为项目上的实习生,这个苦逼的需求是这样的 将excel上的数据录入到web系统一个界面上。如图: 登录界面 需要录入的界面: 录入数据源   0x02 如何解决? 因为excel 数据处理多了所以 第一步:将excel 数据字典化,分别匹配上...

SLY 1个月前 (08-17) 99℃ 0评论 0喜欢

BIGGER

Python批量生成邀请码并验证的小轮子

Python批量生成邀请码并验证的小轮子
最近来做show me the code 发现上面题目还是蛮简单的。 其中第一题就是要求生成两百个邀请码,当然我们肯定不会善罢甘休,我们要求 可以生成指定长度邀请码 可以生成指定数量邀请码 要求不重复  邀请码可以被验证 当时我在邀请码可以被验证上面,卡了很久,用公开的算法 ...

SLY 2个月前 (08-11) 121℃ 0评论 0喜欢

BIGGER

Python爬虫进阶之深入了解动态网页抓取

Python爬虫进阶之深入了解动态网页抓取
前言:再简单的血虐了所谓的豆瓣书单,某些小黄图,小笑话或者跟着极客学院爬了小说录入到mongodb 看起来爬虫就这么多了,但其实不是的,爬虫还有很多东西值得我们深入了解,比如说动态网页的抓取。 0x01 什么是动态网页        很多小伙伴表示又是老生常谈的东西,不就是解析一...

SLY 2个月前 (08-09) 389℃ 9评论 4喜欢

BIGGER

Python利用lxml处理xml格式数据的一些坑

Python利用lxml处理xml格式数据的一些坑
前言:在数据挖掘群里看到新手提出来在lxml在etree时候数据为None 因此做了一点小小研究 0x01 问题原因分析 一个俄文网站,他加载新闻的是通过以上这个链接 http://ria.ru/society/20160802/more.html?id=1473433541&...

SLY 2个月前 (08-06) 154℃ 0评论 1喜欢

BIGGER

python SFTP 基本操作指南

python SFTP 基本操作指南
前言:BOSS说的管道表需要有一个上传FTP功能,本身python自带的FTP模块就可以很好的实现,但是BOSS告诉我需要用SFTP 来进行解决,因此走上研究了一会。 0x01:需求的确定 目录下的有N个excel 需要通过SFTP上传至FTP服务器 看起来只是一个sftp....

SLY 2个月前 (08-02) 196℃ 0评论 0喜欢

BIGGER

学习Python3.X新库:concurrent.futures 并发库 来提高效率

学习Python3.X新库:concurrent.futures 并发库 来提高效率
我在编写从excel导入数据库的小工具因为bat脚本的缘故导致多进程异常(实际上是自己代码问题) 那么刚好晚上没吃饭和大神一起聊聊天,有了不能忍受着渣代码的想法,立马开始学习多线程多进程,从新打开廖雪峰教程学了起来 我用simple_mind来总结一下(。。。simple min...

SLY 2个月前 (07-25) 194℃ 0评论 0喜欢

BIGGER

Python项下实现批量excel数据导入plsql数据库

Python项下实现批量excel数据导入plsql数据库
前言:项目采用的是java 数据库自然是oracle,但是客户公司上马的ERP 需要将大批的工作中的数据放置于网上,因此我得到了要将excel文件导入到oracle数据库 0x01:处理杂乱的excel数据 因此就需要将其一一按照数据库的要求一一整理出来 那么操作excel...

SLY 2个月前 (07-21) 168℃ 3评论 0喜欢

BIGGER

财大学生访问朱老师YouTube新闻的解决方案

财大学生访问朱老师YouTube新闻的解决方案
我自己搭建了一个Shadowsocks服务器,建立了一个公共账号,基本上访问480P的不会卡,资源有限,仅供字幕校对,不可以用于BT下载。如果你有访问外国网页或者下载的需求可以私聊。 我简单介绍一下shadowsocks(影梭) 和普通的vpn不同,他是一个程序员保证自己通信安全...

SLY 3个月前 (07-07) 319℃ 1评论 9喜欢