SKYSUKA's Studio.

软件开发/算法 Share

字数统计: 3.8k阅读时长: 14 min
2019/05/17 Share

记录在软件开发、算法开发上会使用到的一些技术文章或工具。

目录

开发工具

puppeteer - Headless Chrome Node.js API 爬虫利器

收录几篇相关教程:

Easy Mock

mock数据的工具。

Web Scraper - 爬虫利器

一款用于爬取页面数据的Chrome插件,自带的视频教程非常的优秀。

CONVERT MARKDOWN TO PDF

在线的Markdown转换成pdf的网站。

可以在线转化markdown文件。排版和字体是Github的风格,而且更主要的是支持中文UTF8编码。

tesseract.js - 一个可以完成 62 种语言 OCR (光学识别)的 JS 库

吐个槽 - 免费的用户意见反馈平台

腾讯推出的工具,几行代码就可以为页面加入一个互动社区,可以接入应用程序、小程序、WEB、H5、微信公众号等各端。

Hotjar - Get instant visual feedback for your website

一个可以提供用户体验与反馈意见界面的插件,同时也提供了热力图的功能。

FoamTree - Addictively interactive Voronoi treemap

FoamTree is a JavaScript Voronoi treemap visualization. Innovative layouts, animated interactions, endless customization.

ChinaMobilePhoneNumberRegex - 一组匹配中国大陆手机号码的正则表达式

FrontEndNav

收集了大量高质量的前端相关资源,其中包含教程文档、实用 API、模板插件、开发工具等内容。

Fork

a fast and friendly git client for Mac and Windows

10个开源的开发者常用后台控制面板

WhatRuns

WhatRuns 是一款用于了解网站技术的 chrome 网站技术分析工具,主要能通过分析网站页面所使用的框架、代码等技术以及页面所使用的样式等方面,让使用者能直观的了解网站的整体技术信息。

Super History & Cache Cleaner

Chrome插件,点击图标即可清除缓存、cookie 等,开发必备!

Base API

这家云服务公司提供基本的 Web API,包括身份验证、电子邮件发送、文件和图像存储。用法简单,容易上手,作为概念产品很不错。

GoAccess - 开源日志分析工具

GoAccess is an open source real-time web log analyzer and interactive viewer that runs in a terminal in *nix systems or through your browser.

git-quick-stats git仓库统计信息命令行工具

Regexper - 正则表达式可视化

学习资源

python - 100天从新手到大师

About-SwiftUI

Gathering all info published, both by Apple and by others, about new framework SwiftUI.

《Koa2进阶学习笔记》

前端九部 - 入门者手册2019

九部成员合著的web前端开发零基础入门手册

学习CSS布局

现代 JavaScript 教程

Swagger - API文档工具

MATERIAL-UI - 中文教程

技术文章

如何优雅的在github上贡献代码

Github 相信已经成为家喻户晓的代码托管工具, 但访问了多位周围编程爱好者后发现, 对其的使用还仅限于 下载项目源码 和 备份项目源码 的程度, 今天我就来介绍一下一个比较重要的使用场景 贡献代码

[] 如果有人问你数据库的原理,叫他看这篇文章

一提到关系型数据库,我禁不住想:有些东西被忽视了。关系型数据库无处不在,而且种类繁多,从小巧实用的 SQLite 到强大的 Teradata 。但很少有文章讲解数据库是如何工作的。

作为一个开发人员,我不喜欢用我不明白的东西。而且,数据库已经使用了40年之久,一定有理由的。多年以来,我花了成百上千个小时来真正领会这些我每天都在用的、古怪的黑盒子。关系型数据库非常有趣,因为它们是基于实用而且可复用的概念。如果你对了解一个数据库感兴趣,但是从未有时间或意愿来刻苦钻研这个内容广泛的课题,你应该喜欢这篇文章。

[] 手摸手,带你用vue撸后台 系列

用vue搭建后台的教程,涵盖了基础、登陆权限、实战等多方面的介绍。

Downloading an Entire Web Site with wget

使用wget完整的保存一个页面的源代码,可以直接打开index.html,无需考虑资源的引用问题。

Build and Understand a Simple Node.js Website with User Authentication

Today I’m not only going to show you how to quickly build a Node.js website that supports all those things above, I’m going to teach you exactly what’s going on behind the scenes so you fully understand how web authentication works.If you’ve ever been curious about how web authentication and user security works, you will enjoy this. =)

使用Node.js搭建一个含有用户验证的后端教程。

狼叔:如何正确的学习Node.js

现在,越来越多的科技公司和开发者开始使用 Node.js 开发各种应用。Node.js除了能够辅助大前端开发外,还可以编写Web应用,封装Api,组装RPC服务等,甚至是开发VSCode编辑器一样的PC客户端。和其它技术相比, Node.js 简单易学,性能好、部署容易,能够轻松处理高并发场景下的大量服务器请求。Node.js 周边的生态也非常强大,NPM(Node包管理)上有超过60万个模块,日下载量超过3亿次。但编写 Node.js 代码对新人和其它语言背景的开发者来说,不是一件容易的事,在入门之前需要弄懂不少复杂的概念。

云原生应用的前世今生


从Function到Service,再从微服务到云时代,最后再到云原生应用,这么多技术,非得一位经历丰富的技术人,才能说清楚。

对于企业应用的云时代,不像过去做企业内部管理应用,最多也就十来台服务器,人手工都能升级得过来,而且企业员工一下班就能开干。现在都是消费者应用了,消费者都是行为习惯各异需要24x7运行,而且这还是交易型应用,你还不敢断掉,你还不敢一下子全升级了你怕出个交易闪失赔不起钱,所以你还需要灰度发布。这就需要工具了。
所以DevOps在互联网时代、云计算时代才真正流行开。就是因为:海量用户、在线24x7实时运行、交易型、大规模服务器、快速迭代开发发布上线,不得不开发运维一体化。过去运维人员的技术要求性不高,现在运维人员也得有开发技术能力了。

虽然有了满足海量用户高并发的Spring Cloud分布式微服务中间件、有了满足分布式部署和运维的DevOps(Jakins/Docker/k8s),但微服务仍然不微。问题到底出哪里了?
- 软件公司嘛,软件代码是我们的核心资产。所以我们肯定有我们私有的Git源代码库,部署在我们公司的IDC机房里面,而且做层层的安全防护以及代码备份机制。我们要开发的时候,需要在我们本地安装部署需要的各种框架,才能做本地开发、本地调试。但是现在为了应对高并发分布式中间件、海量大数据存储与计算、人工智能训练、物联网接入,我们需要安装的依赖的技术框架高达40多种以上。
- 开始应用DevOps工具和Docker,进行打包、分发、部署。这么多依赖性的框架,你的微服务能微的了吗?

终于有人把中台说清楚了

Supercell的成功很大原因就在于其高效的“部落”组织策略。在supercell仅有的100多人中,被分成若干个小前台组织,每个小组虽然人不多,但都包含了做一款游戏需要的所有人才。本来就不大的公司被分成若干个小组,这样做的好处是可以快速决策,快速研发,快速把产品推向市场,而游戏引擎、服务器等后台基础则不需要操心。

Supercell 的模式给参加此次拜访的阿里高管们很大的震撼,在此次拜访的半年后,阿里集团CEO逍遥子发出内部邮件,组织架构全面升级,建设整合阿里产品技术和数据能力的强大中台,组建“大中台,小前台”的组织和业务体制。

使用PyEcharts绘制股票tree map

Refresh Tokens: When to Use Them and How They Interact with JWTs

Learn about refresh tokens and how they fit in the modern web. Get a working sample of how to implement it with NodeJS

更多关于token的文章:

网页加载性能优化方法研究

  • 网页的加载性能是影响用户体验的最重要因素,页面加载时间过长,极有可能会令用户直接关闭网页,即使网页本身的流程和UI等方面优化得再出色,也不会有任何价值。本文将以优化网页加载性能的角度出发,介绍网页渲染的过程以及各类资源阻塞网页渲染的情况,并给出优化的方向。

Avoiding Webscraping Throttling Using Python and Tor as a Proxy - 使用Tor改变网络爬虫的IP地址

How I Could Have Hacked Any Instagram Account

  • 作者讲述他如何发现 Instagram 的一个漏洞,可以改掉任何用户的密码,最后得到 Facebook 公司三万美元奖金的故事。

主要的操作是,黑客通过点击发送验证码重置密码,对六位数的验证码进行暴力尝试,通过使用多达5000个IP来保证这种尝试的进行,购买IP的操作可以通过购买云主机服务。

从图片优化说起

无论是对于提高加载速度,还是对于优化用户体验,优化图片都是一个重要的手段。

浏览器页面渲染机制

常见的浏览器内核可以分为这四种:Trident(IE)、Gecko(火狐)、Blink(Chrome、Opera)、Webkit(Safari)。这里面大家最耳熟能详的可能就是 Webkit 内核了,Webkit 内核是当下浏览器世界真正的霸主。本文以 Webkit 为例,对现代浏览器的渲染过程进行一个深度的剖析。

网站性能优化实战——从12.67s到1.06s的故事

  • 网络传输性能检测工具——Page Speed。Page Speed最人性化的地方,便是它会对测试网站的性能瓶颈提出完整的建议,我们可以根据它的提示进行优化工作。

  • 使用CDN。如果我们在Linux下使用命令$ traceroute targetIp 或者在Windows下使用批处理 > tracert targetIp,都可以定位用户与目标计算机之间经过的所有路由器,不言而喻,用户和服务器之间距离越远,经过的路由器越多,延迟也就越高。使用CDN的目的之一便是解决这一问题,当然不仅仅如此,CDN还可以分担IDC压力。DNS Prefetch现已被主流浏览器支持,大多数浏览器针对DNS解析都进行了优化,典型的一次DNS解析会耗费20~120ms,减少DNS解析时间和次数是个很好的优化措施。

  • 更多时候,我们都使用JavaScript Profile版块来对我们的node服务进行压力测试,搭配node-inspector 插件,我们能更有效地检测JS执行时各函数的CPU占用率,针对性地进行优化。

Inside look at modern web browser

谷歌Chrome的一篇关于浏览器原理的文章,原理图片很可爱。

传统 Ajax 已死,Fetch 永生

Ant Design Pro 学习笔记

MIT计算机大牛:如何写好一篇顶会论文

创建一家互联网公司需要几个人?一个就够了

创建一个互联网公司需要几个人?一位来自旧金山的软件工程师告诉我们:一个就够了。这位工程师创建了一个名为「Listen Notes」的播客搜索引擎,像谷歌一样可以方便地搜索海量播客资源。在这篇文章中,这位工程师向我们介绍了他创建「Listen Notes」用到的各种「无聊」技术。

送你一张丰富的 Web 性能优化地图

我们都知道对于Web应用来说性能很重要。然而性能优化相关的知识却非常的庞大并且杂乱。对于性能优化需要做些什么以及性能瓶颈是什么,通常我们并不清楚(不包括那些对性能优化有丰富经验的高手)。

事实上关于Web性能有很多可以优化的点,其中涉及到的知识大致可以划分为几类:度量标准、编码优化、静态资源优化、交付优化、构建优化、性能监控。

科普趣文

看问题要看到本质:从Web服务器说起

前端开发 20 年变迁史

5 年时间 0 到 200,一个创业公司架构的野蛮生长史

CATALOG
  1. 1. 目录
  2. 2. 开发工具
    1. 2.1. puppeteer - Headless Chrome Node.js API 爬虫利器
    2. 2.2. Easy Mock
    3. 2.3. Web Scraper - 爬虫利器
    4. 2.4. CONVERT MARKDOWN TO PDF
    5. 2.5. tesseract.js - 一个可以完成 62 种语言 OCR (光学识别)的 JS 库
    6. 2.6. 吐个槽 - 免费的用户意见反馈平台
    7. 2.7. Hotjar - Get instant visual feedback for your website
    8. 2.8. FoamTree - Addictively interactive Voronoi treemap
    9. 2.9. ChinaMobilePhoneNumberRegex - 一组匹配中国大陆手机号码的正则表达式
    10. 2.10. FrontEndNav
    11. 2.11. Fork
    12. 2.12. 10个开源的开发者常用后台控制面板
    13. 2.13. WhatRuns
    14. 2.14. Super History & Cache Cleaner
    15. 2.15. Base API
    16. 2.16. GoAccess - 开源日志分析工具
    17. 2.17. git-quick-stats git仓库统计信息命令行工具
    18. 2.18. Regexper - 正则表达式可视化
  3. 3. 学习资源
    1. 3.1. python - 100天从新手到大师
    2. 3.2. About-SwiftUI
    3. 3.3. 《Koa2进阶学习笔记》
    4. 3.4. 前端九部 - 入门者手册2019
    5. 3.5. 学习CSS布局
    6. 3.6. 现代 JavaScript 教程
    7. 3.7. Swagger - API文档工具
    8. 3.8. MATERIAL-UI - 中文教程
  4. 4. 技术文章
    1. 4.1. 如何优雅的在github上贡献代码
    2. 4.2. [] 如果有人问你数据库的原理,叫他看这篇文章
    3. 4.3. [] 手摸手,带你用vue撸后台 系列
    4. 4.4. Downloading an Entire Web Site with wget
    5. 4.5. Build and Understand a Simple Node.js Website with User Authentication
    6. 4.6. 狼叔:如何正确的学习Node.js
    7. 4.7. 云原生应用的前世今生
    8. 4.8. 终于有人把中台说清楚了
    9. 4.9. 使用PyEcharts绘制股票tree map
    10. 4.10. Refresh Tokens: When to Use Them and How They Interact with JWTs
    11. 4.11. 网页加载性能优化方法研究
    12. 4.12. Avoiding Webscraping Throttling Using Python and Tor as a Proxy - 使用Tor改变网络爬虫的IP地址
    13. 4.13. How I Could Have Hacked Any Instagram Account
    14. 4.14. 从图片优化说起
    15. 4.15. 浏览器页面渲染机制
    16. 4.16. 网站性能优化实战——从12.67s到1.06s的故事
    17. 4.17. Inside look at modern web browser
    18. 4.18. 传统 Ajax 已死,Fetch 永生
    19. 4.19. Ant Design Pro 学习笔记
    20. 4.20. MIT计算机大牛:如何写好一篇顶会论文
    21. 4.21. 创建一家互联网公司需要几个人?一个就够了
    22. 4.22. 送你一张丰富的 Web 性能优化地图
  5. 5. 科普趣文
    1. 5.1. 看问题要看到本质:从Web服务器说起
    2. 5.2. 前端开发 20 年变迁史
    3. 5.3. 5 年时间 0 到 200,一个创业公司架构的野蛮生长史