https://www.gravatar.com/avatar/932f1b40c8d0202ce03a0df412bfb0ff?s=240&d=mp

chaomai's Odyssey

Apache Hadoop YARN笔记

介绍

YARN(Yet Another Resource Negotiator)是Hadoop的资源管理系统。

YARN把资源管理和任务的调度/监控拆分到了独立的进程,即ResourceManager(RM)和每个程序的ApplicationMaster,一个程序要么是一个单独的job或者是由DAG表示的多个job。

python符号表、module和package

symbol table

symbol table(符号表)是用于编译器或解释器中的一个数据结构,存储了源码中每个符号以及关联的信息。不同的作用域可能会有各自的符号表。在静态语言中,符号表尤为重要。

Python进程间通信总结

Python进程间通信总结

Python的multiprocessing支持使用类似threading模块的API来创建进程,multiprocessing提供了本地和远程并发,有效的避免了线程中的GIL。下面对Python进程间通信的方法做了简单的总结,并列举了相应的例子。