有关河图、洛书的传说出现在春秋战国时代。相传远古氏时，有一匹神异的马浮出洛阳东北的黄河，它背上有从一到十的数字花纹，象征吉庆，人们把它画下来，这就是“河图”。又相传在大禹治水时，洛水中浮出神龟，背上有从一到九的数字纹，人们将这个神纹叫做“洛书”。
《河图洛书》是中华文化，阴阳五行术数之源。在中国古典文化中居于至高无上的地位，这一神秘的概念屡屡见载于中国最古老的典籍。《周易·系辞传》载： “天生神物,圣人则之；天地变化，圣人效之；天垂象,见吉凶,圣人象之；河出图，洛出书,圣人则之”。《尚书·顾命篇》载：“越玉五重陈宝:赤刀,大训, 弘壁，琬琰,在西序；大王，夷玉，天球，《河图》在东序”。《礼记·礼运篇》亦载“河图”之说：“天降膏露,地出醴泉，山出器车,河出马图”。而据《论语》记载，孔子面对世态炎凉,礼崩乐坏之局势，也曾发出“河不出图，凤鸟不至”之感慨。如此，不一而足。
最早记录在《尚书》之中，其次在《易传》之中，诸子百家多有记述。太极、八卦、周易、六甲、九星、风水、等等皆可追源至此。1987年河南濮阳西水坡出土的形意墓，距今约6500多年。墓中用贝壳摆绘的青龙、白虎图象栩栩如生，与近代几无差别。河图四象、28宿俱全。其布置形意，上合天星，下合地理，且埋葬时已知必被发掘。同年出土的安徽含山龟腹玉片，则为洛书图象，距今约5000多年。可知那时人们已精通天地物理，河图、洛书之数了。据专家考证，形意墓中之星象图可上合二万五千年前。这说明邵庸等先哲认为“河图、洛书乃上古星图”，其言不虚。
《河图洛书》仅就其普遍载于上述经史典籍,便知其慧根古远。尤其《周易》,素称“群经之首”、“六经之原”。《河图洛书》见乎《周易》,足见其成书年代尚在《周易》之先。因此，《河图洛书》堪称“古中之古”,是为中国第一文献。
《河图洛书》在中国文化中至高无上的地位,不仅取决于其来历久远,而且在于其神圣性。依《周易》之说,它是天降“神物”,是“圣人”的法则；依《尚书》所记,它是周康王即位大典上陈列的天书（《墨子·非攻下》载有“河出箓图”句。训诂学家认为,“河图”，即黄河出现之“箓图”。古语“绿”“箓”通假。而“箓”，意为传达天命之文书。）；依《礼记》，它与“膏露”、“醴泉”、“器车”并列,共为“天地山河”滋育生灵,陶冶人文之精华；依《论语》孔子之慨叹，它是治国平天下之先机,太平盛世之本源。显然,在这些中国古文化最权威的经典看来,《河图洛书》确乎非同凡响。它是远古东方庄严而崇高的法典，它是华夏传说中祥瑞而神秘的圣经。
河图、洛书确定了十个数字的方位，本来目的是揭示数字之间的内在结构关系，后来人出于各种动机，不断赋予它们阴阳、五行、八卦等属性，似乎宇宙万物变化规律都可纳入其中，没有它们不能统摄的事物。这样，河图、洛书逐渐被方术汲取，成为推演吉凶的基本工具。
河图由从一到十的十个数字所组成，其绘图概念来自《周易·系辞传》所云“天一，地二，天三，地四，天五，地六，天七，地八，天九，地十”。
图中的白圈即奇数为阳，又代表天，称为天数；黑点即偶数为阴，又代表地，称为地数。天数相加之和为二十五，地数相加之和为三十。天地之数相加，共得五十五，这也是古人所称的“凡天地之数，五十有五”。
它们的方位排列引入五行的概念，可表示为：一与六共宗居北方，因天一生水，地六成之；二与七为朋居南方，因地二生火，天七成之；三与八位友居东方，因天三生木，地八成之；四与九同道居西方，因地四生金，天九成之；五与十相守居中央，因天五生土，地十成之。
洛书也出自《系辞传》。它以五为中心，其中的数字无论从纵、横、斜任何一个方向相加，综合必定是十五。据说洛书显示了天地运行的顺序，图中白圈为奇（阳），象征天道；黑点为偶（阴），象征地道。
奇数一在北方，表示一阳初生；三在东方，表示阳气渐增；九在南方，表示阳气达到顶峰；七在西方，表示阳气逐渐衰退。这就是所谓天道的运行规律。又阴气由西南发生，以偶数二表示；阴气逆时针旋转至东南角，至此逐渐增长，以偶数四表示；阴气阴气在东北角达到极盛，以偶数八表示；地数六在西北角，表示阴气逐渐消失。这就是所谓地道运行规律。而五居中，象征天地之和。西方数学家将洛书称为“魔方阵”。
八卦即乾、兑、离、震、巽、坎、艮、坤。八卦两两相重，就构成了六十四卦，共三百八十四爻。据《周易·系辞传》云，远古伏羲氏仰观天象，俯察地理，同时又观察动植物的形态生长状况，近取之于身，远取之于外物，于是做八卦。八卦中：乾卦代表天，五行属金；坤卦代表地，五行属土；离卦代表太阳，五行属火；坎卦代表月亮，五行属水；震卦代表雷，五行属木；巽卦代表风，五行属木；艮卦代表高山、陆地，五行属土；兑卦代表水（海洋、河流、沼泽），五行属金。
古人认为，宇宙就由这八个大的自然现象组成，它们包罗了一切事物。八卦还与方位和时间有联系，可分别表示东、南、西、北和东南、西南、东北、西北八个方位，以及冬至、夏至、春分、秋分、立冬、立春、立夏、立秋八节气。
关于八卦的具体方位，古代流传下来的有两种排列方式，一种是“伏羲八卦”，又称为“先天八卦”。其方位为：乾南、坤北、离东、坎西、兑东南、震东北、巽西南、艮西北；乾坎震离为阳，巽离坤兑为阴。以下是伏羲八卦方位图和文王八卦方位图：
在先天八卦指称的是八大自然现象，其中是没有人的位置的。而在后天八卦那里，用乾代表父，坤代表母，震为长男，坎为中男，艮为少男，巽为长女，离为中女，兑为少女，人于是与八卦和自然界联系起来。发展到后来，为了方便实际运作，各种术家又赋予了八卦更丰富、更复杂、更具体的内涵，如以乾卦来代表君、父、玉、金、健等等。
八卦方位的涵义反映在筮法上，为风水术天尊地卑、阳尊阴卑等观念提供了理论和方法基础。
九宫，本来是指皇帝按季节祭祀的深宫。历来又有历中九宫、九宫贵神、曲中九宫等说法。如《大戴礼记》中，以九宫和明堂九殿并称。这里所说的九宫，是与八卦对应排列组合的九宫。按中国传统说法，东、西、南、北为四正位，在它们之间的东南、西南、东北、西北称为四隅。在这四正四隅中加上中央，便成了九方位。在洛书的基础上，按一定的排列规律把八卦分配于九方位中，便成了九宫图。
九宫分为四正宫、四维宫和中宫。四正宫指位于正东的震宫、正西的兑宫、正南的离宫、正北的坎宫；四维宫指东南的巽宫、东北的艮宫、西南的坤宫、西北的乾宫；中宫则在中心位置。李约瑟曾称九宫图为“幻方的九个格子”（李约瑟（Dr.Joseph Needham，1900-1995，全名Joseph Terence Montgomery Needham）,英国人，剑桥大学李约瑟研究所名誉所长，长期致力于中国科技史研究。撰著《中国科学技术史》。 为中国培养了一批优秀科技史学家。 1994年被选为中科院首批外籍院士）。图中各宫的位置与洛书一样，无论横向、竖向、斜向，三宫相加所得之和是十五。
汉代时有九宫占、九宫术、九宫算等，是九宫在占、术、算等方面的应用，其中九宫占术影响到后世风水术。1979年在安徽省阜阳县双古堆汉墓出土的太乙九宫占盘，上面绘有八卦、九宫等内容，可作为八卦、九宫运用于术数占卜的早期实物证明。当今的九宫飞星风水术就是运用八卦九宫占盘，判断方位和宅运的祸福。
