Calibre-web 个人图书库搭建记20-结语

很久没有再更新这个系列的内容了,这次想到都豆瓣看看作品,所以登录以后豆瓣让给作品写一篇作者感言和心路历程,想起来还是挺有趣的,这个系列作品是我写作博客日记的偶然的连载内容,但写完前面几篇以后发现很多人也在看这篇内容,所以就把它做成了一个文章系列。

但写作博客记录笔记的习惯就是每一篇都写作在1000字左右,如果写多了再加上配图就需要非常长时间的阅读时间,不像是文学作品一样,需要一次创作一个章节,技术分享往往是一次解决一个问题写一篇内容。所以大家看到的序列为了满足豆瓣创作的字数会有很多章节连在一起才能发布出来的情况,希望这个没有让大家感到困扰。

说回为什么要写这一个序列的内容,我还是挺有感触的,后来基于这一系列的文章,我还单独建了一个群来将大家聚在一起交流,这个群现在也有了几百人加入,但是加入的人更多的是在玩nas、想要自己创建一些图书库的人,他们在一起聊一聊怎么折腾自己的小服务器的经验,但消息并不多,现在因为这一系列的文章还有人在阅读,也还偶尔有些志同道合的朋友加入进来,共同讨论如何自己搭建自己的书库。

[……]

阅读更多

个人私有公开书库和个人网盘完整解决方案 onedrive + oneindex + calibre-web + kindle

0

个人网盘和书库的解决方案汇总:
1、网盘:百度网盘 + OneDirve 教育版 2T 空间 + QQ空间相册。
如果没什么花哨的操作,直接使用官方网盘app+网页版足够满足大部分个人使用需求,再开个百度网盘 svip 会员,活动时一年价格也就是200块,office 365 的年价格也不贵,带几个T的网盘空间,分享链接,手机app自动备份相册,支持在线看视频,自动转码,高清标清任意切换。

一块硬盘的价格享受在线云服务,非常舒适,如果你学校给你开通教育版,免费的2T-5T onedirve 存储空间,评价就是真好用。

[……]

阅读更多

迁移Calibre书库:Fastcopy(最快的文件拷工具):Windows下大量文 件复制工具软件

0

几十个TB的存储满了,需要把一些不常用的文件迁移到移动硬盘,给网络存储空出一些空间,想来想去把视频和calibre的图书库迁移出来,迁移以后大概可以增加一些几百G的空间,可以临时用一下。就想到要找个工具复制,要不然几十万的文件,用windows复制不靠谱。想起以前常用的 FastCopy 又特意下载下来用了一下。还特地了解了一下开发者,这么多年一直保持着软件更新,确实很专注。

[……]

阅读更多

Calibre-web 个人图书库搭建记 19:给 Calibre-web 服务器减压

最近 Calibre- web 演示的网站的服务器压力比较大,每次开放游客浏览以后都会频繁出现502。经常出现这种情况,我尝试分析了一下,找到三个主要的原因。

0

第一个原因是服务器内存小导致的,服务内存只有512M,能勉强跑起来一些小程序,如果数据查询和访问量比较多,服务器必然会比较吃力。

第二个原因是Calibre-web程序设计的原因,很多请求是根据浏览器和访问特征返回数据,一个url可能返回不同的内容,并没有使用动态数据和静态数据分离,整体是一个动态网站,如果不进行改造,cdn内容加速都不能上。需要定制开发做相关的动态、静态请求的分离,把固定不变的内容进行缓存以后才能更少的减少服务器资源消耗。

第三个原因是因为网站开放访问,正常人类请求并没多少,但各种各样的爬虫(MJ12bot、DotBot、AhrefsBot)请求太过频繁,大部分服务器资源都消耗到了应对采集爬虫的访问请求了。

[……]

阅读更多

Calibre-web 个人图书库搭建记 18:calibre-web 蹭图 床之 onedrive 共享目录

以前蹭图床,都是考虑自己用服务器写api接口,后来有了 onedrive 的教育版账户以后,发现可以共享目录,而且 onedrive 共享文件企业账户访问速度还挺快,一直想考虑直接用直连共享目录的方式使用calibre书库,可是calibre 的数据全是拼音加英文,完全把文件打乱了,不好检索,要想下载还需要先找到对应目录才行。

前段时间就尝试用 oneindex 作为图床测试应用,但是测试发现 微软的第三方应用访问api 有很多频率限制,不适合做公共图床,自己偶尔用用还行,文件多了不光接口有频次限制,自己建oneindex索引目录也跑不起来。

既然 oneindex 不行,那不如考虑测试直接用office onedrive 自己的共享目录来作为图床使用,稳定,快速,而且访问URL 也是按照目录文件名的方式,有规律可循。

[……]

阅读更多

Calibre-web 个人图书库搭建记 17:升级Calibre-web,更新任务(Tasks)发 送邮件功能

0

前段时间在 calibre 的群里聊天,讨论了一些关于新版本calibre-web在linux 服务器,docker,群晖中的安装问题。我看最新版本的calibre-web 已经支持任务功能。

calibre-web 的任务(Tasks)是负责电子邮件发送队列化处理,calibre-web邮件发送主要有两个用途,一个是发送注册后的账号信息,另一个是将电子书通过邮件发送到kindle。我之前日记里写过,因为放到腾讯云的服务器出口带宽只有1m,实时发送邮件会堵塞程序执行,然后把带宽占满,一百兆的文件需要发送几分钟,程序也就崩溃了。

我一直不想去升级calibre-web新版本的原因是之前为了了解calibre-web的代码,自己改了一些模板和程序的东西,如果升级了新版本,这些改过的地方又要重新改一遍。前段时间我就升级过一次calibre-web,因为现在的版本都是零点几的版本,很多代码的实现都是临时写到业务逻辑里了,我升级这个版本的时候,有很多又进行了封装。所以很多代码不只是简单的拷贝到对应位置,还需要了解修改的后的代码逻辑,再进行升级。

[……]

阅读更多

Calibre-web 个人图书库搭建记 16:腾讯云cos对象存储挂载硬盘后 的读请求异常问题

Calibre-web图书库,使用了腾讯云的cos对象存储当作图书文件目录,这样可以无限扩容服务器空间,还可以在下载的时候使用对象存储的外网提供高速下载。

最近遇到几个对象存储当磁盘文件使用的问题总结一下。挂载对象存储在频繁操作calibre的数据库文件时读写性能跟不上,解决方式是单独改变了calibre数据库的位置,放在系统磁盘保证读写可以跟上,然后代码中修改calibre-web的数据读取位置。

之后发现下载速度跟上了,但通过1M带宽的主机发送附件的邮件出口带宽一样太慢,这样会有一些功能受到限制,在calibre-web上最明显的是发送到Kinlde功能体验不好,每次送要等待太长时间。

[……]

阅读更多

Calibre-web 个人图书库搭建记 15: 1m带宽主机的坑

在腾讯云主机上安装了calibre-web程序,因为主机只有1M带宽,折腾了很长时间的访问优化。现在访问优化基本上能静态访问的图片、css、js、图书下载都放到了不限带宽、不限容量、按照容量和流量收费的对象存储中了。

但遗漏了一个电子书管理很重要的功能,发送到kindle的服务也是通过服务器发送电子邮件,而往外传数据是用的出口带宽,如果实时发送电子邮件带上几M的书附件就太慢了,发一本书带宽跑满的情况下也要很长时间,程序经常超时,也影响正常网站访问。这个问题直到自己尝试发送到kindle时才发现。

研究了一下在腾讯云可以有几种方式可以处理这种非实时要求的大附件发送要求,一种是直接加带宽,目前看成本收益不高。另一种是通过其他服务发送邮件和附件,腾讯云的五服务器函数可以干这个事情,scf无服务器函数可以直接读取对象存储内容,也能通过smtp 发送邮件,可以通过腾讯云消息队列smq进行调用。

[……]

阅读更多