اطلاعات به عنوان تفاوت داده های قابل توجه در انرژی - ماده تعریف می شودکه به طور ناخودآگاه بر روی موقعیت های انتخابی میان چند موضوع متفاوت تاثیر می گذارد.

نظریه اطلاعات شانون بر اساس توازن انتروپی که نخستین بار از سوی یک فیزیک دان اتریشی قرن نوزدهم به نام لودویگ بولتسمان طراحی شد و بخشی ازقانون دوم ترمودینامیک بود پایه گذاری شد. انتروپی کمیتی است که میزان آشفتگی ، اغتشاش و بي نظمي را در يک سيستم نشان مي دهد و بيت واحدي براي اطلاعات در نظريه اطلاعات که کار اصلي آن اندازه گيري است. شانون بر اين باور اصرار مي ورزيد که واحد اندازه گيري اطلاعات بيت است که همان تراکم يا چگالش مي باشد. به نظر او بهترين مزيت بيت استفاده درانواع انرژي هاي مواد است و نوعي واحد اندازه گيري جهاني به شمار مي رود. الگوي ارتباطي شانون براي توصيف عناصر اوليه يک فعاليت ارتباطي (منبع، مجرا، پيام، گيرنده، اختلال و بازخورد) بسيار مناسب بود.