博文

目前显示的是 十月, 2017的博文

免费爬墙网站项目(ShadowSocksShare)开发简记

今年(2017)年暑假,我本科刚刚毕业,保研到本校读研。这个暑假,跟同实验室的师兄聊天的时候聊到爬虫,起了一点兴趣,并做了一个小项目玩了玩,并从某些网站爬到了一些漫画看。同样是这个夏天,本来我的首席上谷歌方法(Hosts)失效了,迫使我到处寻找其他免费、不限量科学上网方法,最终选定使用SSR。

  最开始,我写了一个Python脚本,使用qrcode库,可以将网上爬到的ss帐号变成二维码,这样就不需要手动输入服务器信息了,真的很方便。可是好东西只有我自己用,心里过意不去,便想了好多方法来分享我找到的帐号,以便大家都能顺利地访问谷歌。最开始打算用微信公众号自动分享,或者用微信小程序。在一个周末,我便申请了微信开发平台,创建了一个微信公众号。看官方教程发现微信小程序需要用到javascript,而使用微信公众号自动发布新爬到的ss帐号需要web服务器。后来一想,既然js和web我都不会,那我还是学着做一个网站比较好,不必依托于微信。

  说到做到,在某个周日下午,我阅读Flask文档和W3CSchools的HTML教程,以及网上Flask的例子,做出了本项目的最初版本。后来,为了寻找免费服务器托管我的项目,我先后找到了OpenShift和Heroku,并学习了一下两家服务器的使用管理方法,将网站托管到了OpenShift,加入了许多其他网站(因为最初的那个网站加入了反爬措施,我暂时不想用太多精力处理反爬)。为了处理一些难以定位的Bug,和一些莫名其妙的异常,我使用了大量try(当然这并不是一个良好的方案)和logging输出日志,通过阅读日志定位并解决掉了服务器稳定性的问题。当访问量增加,我又学着用了一下多线程threading和并发爬取数据multiprocessing,重构代码,以及最后稍微学习了一点点shadowsocks的源码。

  看到自己GitHub加星我心里很是高兴,毕竟是第一个比较受关注的项目;网站上加了个捐款链接也只是放着玩,没想到还真有不少人捐款,哈哈:)知道有这么多人使用我的小项目,我也使用了大量时间进行维护、改Bug、增加功能、改进UI。收获是对html和javascript熟悉了不少,后来做数据分析需要调用百度地图API之类的就比较轻松了:)建站的时候也有了不少收获,理解了用户、性能、运维、ssl、CDN、代码风格、项目的文件安排等等需要…

2018年1月31日:Linux上国产第三方软件指南

图片
2018年1月31日更新:出现许多选择 最近发现QQ和微信已经有了好几种非常优秀的选择,推荐给大家。顺便感慨一下,AppImage发展得确实越来越好了,期待以后有更大的影响力。
1. QQ/TIM:https://github.com/askme765cs/Wine-QQ-TIM 基于AppImage,加上可执行权限,直接用鼠标点开一般就行。TIM性能还很差,但QQ很完美
2. 微信:electronic-wechat:和上面那个微信比起来,还是上面那个微信略胜一筹(wewechat已经封号,看来只有这个能用了) 3. QQ音乐:coco-music:比较简单,也算够用 4. 网易云音乐:ieaseMusic:自称最好的网易云音乐客户端,确实非常好看。目前bug有点多,但是不太影响使用,外貌协会专用
附录:AppImage资源GitHub: AppImageKit AppImage官方网站 Linux游戏站 AppImage中文论坛 2017年10月16日:今天TM2013突然无法使用及应对方案 在网上一查,发现腾讯说今年九月三十号就不再支持TM了。


网上其他上QQ的办法也有很多,包括Wine TIM、虚拟机(VirtualBox/KVM),也有Crossover的QQ8.9,还有Longene团队后来开发的新版QQ(有deb包)。

Longene提供的deb包经常CPU占到100%,其他方法也很麻烦。所以我的选择是: 不用QQ,改用微信,安装好Google-Chrome之后可以用这个小脚本开启微信网页版。 把这个小脚本放入$PATH里面,如果用Albert的话,可以直接在输入框输入">wechat"直接打开微信


题外话,我不再使用QQ还因为,腾讯系列产品实在太流氓了:
https://program-think.blogspot.com/2010/04/howto-cover-your-tracks-2.html
http://www.chinagfw.org/2010/05/qq_28.html
http://www.chinagfw.org/2009/09/qq_26.html

此博客中的热门博文

免费爬墙网站项目(ShadowSocksShare)开发简记

Ubuntu Gnome 酷炫完整指南(一):小工具篇