在NGS基础：测序原始数据下载一文中提到可以使用SRA-toolkit中的命令fastq-dump从NCBI下载原始测序数据，命令如下。nohup fastq-dump -v --split-3 --gzip SRR5908360 &nohup fastq-dump -v --split-3 --gzip SRR5908361 &这个代码，给我们4个提示：f …
未分类
Introduction在传统的网络服务器的构建中，IO模式会按照BlockingNon-Blocking、SynchronousAsynchronous这两个标准进行分类，其中Blocking与Synchronous基本上一个意思，而NIO与Async的区别在于NIO强调的是Polling(轮询)，而Async强调的是Notification(通知)。譬如 …
本文结合具体代码对 Linux 内核中的 device mapper 映射机制进行了介绍。Device mapper 是 Linux 2.6 内核中提供的一种从逻辑设备到物理设备的映射框架机制，在该机制下，用户可以很方便的根据自己的需要制定实现存储资源的管理策略，当前比较流行的 Linux 下的逻辑卷管理器如 LVM2（Linux Volume Manage …
前言本文将主要介绍传统的和目前流行的进程线程模型，在讲进程线程模型之前需要先介绍一种设计模式： Reactor 模式。Reactor 模式首先是事件驱动的，有一个或多个并发输入源，有一个Service Handler，有多个Request Handlers；这个Service Handler会同步的将输入的请求（Event）多路复用的分发给相应的Reques …
一. linux内核简介1. linux简介1.1 unix的特点unix很简洁，仅提供几百个系统调用，并有非常明确的设计目的unix所有东西都当作文件对待，这种抽象使对数据和设备都通过一套相同的系统调用接口进行内核用C语言编写，移植能力很强进程创建迅速，独特的fork调用提供了简洁但是稳定的进程间通讯原语1.2 unix和linuxlinux克隆unix， …
随着测序通量持续攀升和测序成本直线下降，测序所产出的数据也出现了激增。这样的海量数据不仅为人们带来了前所未有的机遇，还在数据储存、数据传输和数据分析方面提出了新的挑战。以往研究者们需要建立计算机集群来储存和分析大数据集，同时运行几十台甚至几百台计算机。然而许多人都没有这样的条件，因此越来越多的研究者们选择通过“云计算”来解决问题。尽管你可能对它还不熟悉，但云 …
Linux下的标准输入、输出、重定向、管道在Linux系统中，有4个特殊的符号，<, ‘>’, ‘|’, ‘-‘，在我们处理输入和输出时存在重要但具有迷惑性的作用。默认Linux的命令的结果都是输出到标准输出，错误信息 (比如命令未找到或文件格式识别错误等) 输出到标准错误，而标准输出和标准错误默认都会显示到屏幕上。>表示重定向标准输出，& …
基本概念块设备（blockdevice）--- 是一种具有一定结构的随机存取设备，对这种设备的读写是按块进行的，他使用缓冲区来存放暂时的数据，待条件成熟后，从缓存一次性写入设备或者从设备一次性读到缓冲区。字符设备（Character device）---是一个顺序的数据流设备，对这种设备的读写是按字符进行的，而且这些字符是连续地形成一个数据流。他不具备缓冲区 …
1、Stream 与 Channelstream 不会自动缓冲数据，channel 会利用系统提供的发送缓冲区、接收缓冲区（更为底层）stream 仅支持阻塞 API，channel 同时支持阻塞、非阻塞 API，网络 channel 可配合 selector 实现多路复用二者均为全双工，即读写可以同时进行虽然 Stream 是单向流动的，但是它也是全双工的 …
关于IO会涉及到阻塞、非阻塞、多路复用、同步、异步、BIO、NIO、AIO等几个知识点。知识点虽然不难但平常经常容易搞混，特此Mark下，与君共勉。1 阻塞跟非阻塞1.1 阻塞阻塞IO情况下，当用户调用read后，用户线程会被阻塞，等内核数据准备好并且数据从内核缓冲区拷贝到用户态缓存区后read才会返回。可以看到是阻塞的两个部分。CPU把数据从磁盘读到内核缓 …